Re:Re: BroadcastConnectedStream处理顺序问题

2021-12-14 文章 casel.chen
嗯,正解,谢谢! 在 2021-12-14 14:26:35,"yidan zhao" 写道: >应该在open中做全量数据的初始化。然后broadcastState做增量的更新。 > >Caizhi Weng 于2021年12月14日周二 09:50写道: > >> Hi! >> >> 可以看一下 event time temporal join [1] 是否满足需求。 >> >> [1] >> >>

Re: BroadcastConnectedStream处理顺序问题

2021-12-13 文章 yidan zhao
应该在open中做全量数据的初始化。然后broadcastState做增量的更新。 Caizhi Weng 于2021年12月14日周二 09:50写道: > Hi! > > 可以看一下 event time temporal join [1] 是否满足需求。 > > [1] > > https://nightlies.apache.org/flink/flink-docs-release-1.13/zh/docs/dev/table/sql/queries/joins/#event-time-temporal-join > > casel.chen 于2021年12月12日周日

Re: BroadcastConnectedStream处理顺序问题

2021-12-13 文章 Caizhi Weng
Hi! 可以看一下 event time temporal join [1] 是否满足需求。 [1] https://nightlies.apache.org/flink/flink-docs-release-1.13/zh/docs/dev/table/sql/queries/joins/#event-time-temporal-join casel.chen 于2021年12月12日周日 11:12写道: > 有一个场景是通过一张mysql的控制表来控制kafka流中的元素分流到不同下游sink,例如事实表的kafka和维表hbase等。 >

BroadcastConnectedStream处理顺序问题

2021-12-11 文章 casel.chen
有一个场景是通过一张mysql的控制表来控制kafka流中的元素分流到不同下游sink,例如事实表的kafka和维表hbase等。 可我发现BroadcastConnectedStream处理顺序是随机的,有可能kafka数据来了(processElement方法)但还对应的MapState里面并没有该数据对应的控制规则(规则已经写到mysql控制表并被flink cdc获取到控制流里面,只是还没有被processBroadcastElement方法处理到)。但我是想所有的维表数据都先建立好在MapState里面,不会出现找到对应key情况,请问这要怎么实现呢?