嗯,正解,谢谢!
在 2021-12-14 14:26:35,"yidan zhao" 写道:
>应该在open中做全量数据的初始化。然后broadcastState做增量的更新。
>
>Caizhi Weng 于2021年12月14日周二 09:50写道:
>
>> Hi!
>>
>> 可以看一下 event time temporal join [1] 是否满足需求。
>>
>> [1]
>>
>>
应该在open中做全量数据的初始化。然后broadcastState做增量的更新。
Caizhi Weng 于2021年12月14日周二 09:50写道:
> Hi!
>
> 可以看一下 event time temporal join [1] 是否满足需求。
>
> [1]
>
> https://nightlies.apache.org/flink/flink-docs-release-1.13/zh/docs/dev/table/sql/queries/joins/#event-time-temporal-join
>
> casel.chen 于2021年12月12日周日
Hi!
可以看一下 event time temporal join [1] 是否满足需求。
[1]
https://nightlies.apache.org/flink/flink-docs-release-1.13/zh/docs/dev/table/sql/queries/joins/#event-time-temporal-join
casel.chen 于2021年12月12日周日 11:12写道:
> 有一个场景是通过一张mysql的控制表来控制kafka流中的元素分流到不同下游sink,例如事实表的kafka和维表hbase等。
>
有一个场景是通过一张mysql的控制表来控制kafka流中的元素分流到不同下游sink,例如事实表的kafka和维表hbase等。
可我发现BroadcastConnectedStream处理顺序是随机的,有可能kafka数据来了(processElement方法)但还对应的MapState里面并没有该数据对应的控制规则(规则已经写到mysql控制表并被flink
cdc获取到控制流里面,只是还没有被processBroadcastElement方法处理到)。但我是想所有的维表数据都先建立好在MapState里面,不会出现找到对应key情况,请问这要怎么实现呢?