如果一张表被多个不同flink cdc作业消费的话岂不是要记住之前分配过哪些serverId? 如果作业包含了重复的serverId会造成消费出错吧?
如果flink sql作业不指定serverId的话,随机分配也有可能产生重复serverId吗?
这类serverId信息是不是在服务端维护更合理?
在 2022-10-31 17:18:41,"林影" 写道:
>ok, thx!
>
>Leonard Xu 于2022年10月31日周一 17:01写道:
>
>>
>> > 2022年10月31日 下午4:57,林影 写道:
>> >
>> > Hi,
Hi Peihui,
確認下你想調用的方法是不是 connect?因為看起來 stream1.collect(stream2) 不像是 DataStream 支援的 API
如果是的話,想請問你 ConfigSource() 有沒有配置 WatermarkStrategy?connect 後的算子是透過上游兩個算子的
watermark 取最小作為輸出。
因此,如果只定義其中一邊的 WatermarkStrategy 會導致這個算子的 watermark 無法推進。
詳細可以參考這個章節
hi,你好
我想基于现有的flinksql的join实现这种情况,当维表更新慢的时候,事实数据会放在状态中等待。
| |
Jason_H
|
|
hyb_he...@163.com
|
Replied Message
| From | RS |
| Date | 11/15/2022 09:07 |
| To | user-zh@flink.apache.org |
| Subject | Re:flinksql join |
Hi,
我的理解是后插入的维表数据,关联不到是正常现象,
如果要实现=3的话,应该要手动重新跑历史数据,然后更新现有数据,
hi,你好
我想基于现有的flinksql的join实现这种情况,当维表更新慢的时候,事实数据会放在状态中等待。
| |
Jason
|
|
hyb_he...@163.com
|
Replied Message
| From | RS |
| Date | 11/15/2022 09:07 |
| To | user-zh@flink.apache.org |
| Subject | Re:flinksql join |
Hi,
我的理解是后插入的维表数据,关联不到是正常现象,
如果要实现=3的话,应该要手动重新跑历史数据,然后更新现有数据,
Hi,
我的理解是后插入的维表数据,关联不到是正常现象,
如果要实现=3的话,应该要手动重新跑历史数据,然后更新现有数据,
Thanks
在 2022-11-11 11:10:03,"Jason_H" 写道:
>
>
>hi,大家好
>我正在使用flink的sql实现一个维表join的逻辑,数据源为kafka(交易数据),维表为mysql(账号),现在遇到一个问题:当kafka有数据进来时,没有在维表中找到账号,这时我手动插入该账号,在下一条数据进来时可以匹配上对应的账号信息,但是,输出的累计结果就会缺失没有匹配上的那条数据,举例如下:
>kakfa输入:
>账号