双流interval join是否可行呢?
在 2021-06-07 16:35:10,"Jason Lee" <jasonlee1...@163.com> 写道: > > >我么生产环境同样遇到这种问题,因为上有流数据到了,但是维表数据未更新导致丢失部分数据,请问大家现在有好的解决方案去解决Flink SQL >维表延迟Join的问题了吗? > > >有解决方案的小伙伴能分享下嘛? >| | >JasonLee >| >| >jasonlee1...@163.com >| >签名由网易邮箱大师定制 > > >在2021年02月25日 14:40,Suhan<maosu...@foxmail.com> 写道: >我们生产环境也遇到了同样的问题,除了benchao说的用算子来做延迟join外。可以使用rocketmq的延迟发送功能来存放维度拼接失败的消息。然后flink再同时消费kafka > + rocket mq的数据。 >我建议在生产环境使用,因为有的时候flink侧很难判断到底哪种情况是拼接失败,是异常呢,还是空值呢,还是返回结果不符合要求。我觉得在用户层面做会比较灵活。单独的容灾队列对于下游的处理也提供了更多的方式。 > > > > > >------------------ 原始邮件 ------------------ >发件人: > "user-zh" > ><shenleifight...@gmail.com>; >发送时间: 2021年2月25日(星期四) 中午12:00 >收件人: "user-zh"<user-zh@flink.apache.org>; > >主题: Re: Flink 维表延迟join > > > >Hi, > > Benchao,这种发送到另外一个 topic >,再来关联,虽然感觉可以减缓这种没有关联到维表数据对于下游业务的影响,不过还是很难控制到具体的延缓时间,我们现在也考虑怎么优雅的实现。 > >Benchao Li <libenc...@apache.org> 于2020年8月27日周四 上午10:08写道: > >> Hi, >> >> 我们也遇到过类似场景,我们的做法是修改了一下维表Join算子,让它来支持延迟join。 >> >> 其实还有个思路,你可以把这种没有join到的数据发送到另外一个topic,然后再消费回来继续join。 >> >> 郑斌斌 <zhengbin...@heint.cn> 于2020年8月27日周四 上午9:23写道: >> >> > 小伙伴们: >> > >> > >> >大家好,请教一个问题,流表和维表在JOIN时,如果流表的数据没在维表中时,能否进行延迟join,比如,每10分钟进行match一下,连续match6次都没有match上的话,丢弃该数据。 >> > 这个场景怎么通过flink SQL或UDF实现,目前是通过timer来实现的,感觉有些麻烦。 >> > >> > Thanks&Regards >> >> >> >> -- >> >> Best, >> Benchao Li >>