Re:多流join的场景如何优化

2021-01-25 文章 Ye Chen
双流join或者多流join从技术上是可以实现你这个场景的,网上有很多成熟的案例。 但是要考虑具体的业务需求,比如数据是否能在规定时间到达,未到达如何处理,如果因为多流join造成数据缺失或者延迟,对业务影响比较大的话还不如继续用维表。 在 2021-01-26 11:30:56,"hl9...@126.com" 写道: >请教各位大佬,我现在有个多流join计算的场景,不知道该如何进行优化。 > >电商业务有3个kafka消息源,消息结构描述如下(只列举主要字段): >market_act(营销活动): >{act_id:营销活动id,start_ti

Re: Re: 多流join的场景如何优化

2021-01-25 文章 yang nick
两两join吧 hl9...@126.com 于2021年1月26日周二 下午2:28写道: > 我们还没用到flink sql,有用流API实现的思路吗? > > > > hl9...@126.com > > 发件人: yang nick > 发送时间: 2021-01-26 11:32 > 收件人: user-zh > 主题: Re: 多流join的场景如何优化 > flink sql + zeppelin > > hl9...@126.com 于2021年1月26日周二 上午11:30写道: &

Re: Re: 多流join的场景如何优化

2021-01-25 文章 hl9...@126.com
我们还没用到flink sql,有用流API实现的思路吗? hl9...@126.com 发件人: yang nick 发送时间: 2021-01-26 11:32 收件人: user-zh 主题: Re: 多流join的场景如何优化 flink sql + zeppelin hl9...@126.com 于2021年1月26日周二 上午11:30写道: > 请教各位大佬,我现在有个多流join计算的场景,不知道该如何进行优化。 > > 电商业务有3个kafka消息源,消息结构描述如下(只列举主要字段): > market_act(营销活动):

Re: 多流join的场景如何优化

2021-01-25 文章 yang nick
flink sql + zeppelin hl9...@126.com 于2021年1月26日周二 上午11:30写道: > 请教各位大佬,我现在有个多流join计算的场景,不知道该如何进行优化。 > > 电商业务有3个kafka消息源,消息结构描述如下(只列举主要字段): > market_act(营销活动): > {act_id:营销活动id,start_time:活动开始时间,end_time:活动结束时间,shop_id:活动的门店} > new_member(新增会员): {member_id:新会员id,act_id:吸引会员的营销活动id,create_time:新会员生