双流join或者多流join从技术上是可以实现你这个场景的,网上有很多成熟的案例。
但是要考虑具体的业务需求,比如数据是否能在规定时间到达,未到达如何处理,如果因为多流join造成数据缺失或者延迟,对业务影响比较大的话还不如继续用维表。
在 2021-01-26 11:30:56,"hl9...@126.com" 写道:
>请教各位大佬,我现在有个多流join计算的场景,不知道该如何进行优化。
>
>电商业务有3个kafka消息源,消息结构描述如下(只列举主要字段):
>market_act(营销活动):
>{act_id:营销活动id,start_ti
两两join吧
hl9...@126.com 于2021年1月26日周二 下午2:28写道:
> 我们还没用到flink sql,有用流API实现的思路吗?
>
>
>
> hl9...@126.com
>
> 发件人: yang nick
> 发送时间: 2021-01-26 11:32
> 收件人: user-zh
> 主题: Re: 多流join的场景如何优化
> flink sql + zeppelin
>
> hl9...@126.com 于2021年1月26日周二 上午11:30写道:
&
我们还没用到flink sql,有用流API实现的思路吗?
hl9...@126.com
发件人: yang nick
发送时间: 2021-01-26 11:32
收件人: user-zh
主题: Re: 多流join的场景如何优化
flink sql + zeppelin
hl9...@126.com 于2021年1月26日周二 上午11:30写道:
> 请教各位大佬,我现在有个多流join计算的场景,不知道该如何进行优化。
>
> 电商业务有3个kafka消息源,消息结构描述如下(只列举主要字段):
> market_act(营销活动):
flink sql + zeppelin
hl9...@126.com 于2021年1月26日周二 上午11:30写道:
> 请教各位大佬,我现在有个多流join计算的场景,不知道该如何进行优化。
>
> 电商业务有3个kafka消息源,消息结构描述如下(只列举主要字段):
> market_act(营销活动):
> {act_id:营销活动id,start_time:活动开始时间,end_time:活动结束时间,shop_id:活动的门店}
> new_member(新增会员): {member_id:新会员id,act_id:吸引会员的营销活动id,create_time:新会员生