Re: flink-sql消费基于on kafka的flink table,每次select这个flink table相当于是不同group id了吗?

2020-09-21 文章 赵一旦
', > 'scan.startup.mode' = 'latest-offset', > 'format' = 'canal-json'); > > 这是kafka table option, > > > 这是设置checkpoint了 > > -- 原始邮件 -- > *发件人:* "user-zh" ; > *发送时间:* 2020年9月9日(

Re: flink-sql消费基于on kafka的flink table,每次select这个flink table相当于是不同group id了吗?

2020-09-09 文章 Leonard Xu
Hi 可以看下贴下你Kafka table的option 和 作业的 checkpoint配置吗? 可以确定的是,用的都是同一个group id,。 如果你没有配置 checkpoint, Flink Kafka consumer 的 enable.auto.commit 默认设置为 false,就不会提交对应group 的offset, 此时你两个作业只是用 group id 确定一个起始消费offset,得到的数据就是一致的。 你可以看看[1][2]里面对这个机制的解释。 Best Leonard [1] https://ci.apache.org/projects/flin