Re:Re: Flink CDC2.2.1 设置server id范围

2022-11-14 文章 casel.chen
如果一张表被多个不同flink cdc作业消费的话岂不是要记住之前分配过哪些serverId? 如果作业包含了重复的serverId会造成消费出错吧? 如果flink sql作业不指定serverId的话,随机分配也有可能产生重复serverId吗? 这类serverId信息是不是在服务端维护更合理? 在 2022-10-31 17:18:41,"林影" 写道: >ok, thx! > >Leonard Xu 于2022年10月31日周一 17:01写道: > >> >> > 2022年10月31日 下午4:57,林影 写道: >> > >> > Hi,

Re: flink 1.16 kafka 流和自定义流collect后,watermark 消失

2022-11-14 文章 Tony Wei
Hi Peihui, 確認下你想調用的方法是不是 connect?因為看起來 stream1.collect(stream2) 不像是 DataStream 支援的 API 如果是的話,想請問你 ConfigSource() 有沒有配置 WatermarkStrategy?connect 後的算子是透過上游兩個算子的 watermark 取最小作為輸出。 因此,如果只定義其中一邊的 WatermarkStrategy 會導致這個算子的 watermark 無法推進。 詳細可以參考這個章節

Re: flinksql join

2022-11-14 文章 Jason_H
hi,你好 我想基于现有的flinksql的join实现这种情况,当维表更新慢的时候,事实数据会放在状态中等待。 | | Jason_H | | hyb_he...@163.com | Replied Message | From | RS | | Date | 11/15/2022 09:07 | | To | user-zh@flink.apache.org | | Subject | Re:flinksql join | Hi, 我的理解是后插入的维表数据,关联不到是正常现象, 如果要实现=3的话,应该要手动重新跑历史数据,然后更新现有数据,

Re: flinksql join

2022-11-14 文章 Jason_H
hi,你好 我想基于现有的flinksql的join实现这种情况,当维表更新慢的时候,事实数据会放在状态中等待。 | | Jason | | hyb_he...@163.com | Replied Message | From | RS | | Date | 11/15/2022 09:07 | | To | user-zh@flink.apache.org | | Subject | Re:flinksql join | Hi, 我的理解是后插入的维表数据,关联不到是正常现象, 如果要实现=3的话,应该要手动重新跑历史数据,然后更新现有数据,

Re:flinksql join

2022-11-14 文章 RS
Hi, 我的理解是后插入的维表数据,关联不到是正常现象, 如果要实现=3的话,应该要手动重新跑历史数据,然后更新现有数据, Thanks 在 2022-11-11 11:10:03,"Jason_H" 写道: > > >hi,大家好 >我正在使用flink的sql实现一个维表join的逻辑,数据源为kafka(交易数据),维表为mysql(账号),现在遇到一个问题:当kafka有数据进来时,没有在维表中找到账号,这时我手动插入该账号,在下一条数据进来时可以匹配上对应的账号信息,但是,输出的累计结果就会缺失没有匹配上的那条数据,举例如下: >kakfa输入: >账号