Hi,
Flink Kafka connector 会在 checkpoint 完成后将位点提交至 Kafka broker,但是 Flink 并不会依赖于提交到
Kafka broker 上的位点做故障恢复,而是使用 checkpoint 中存储的位点恢复。
关于丢失数据个人建议可以先从小数据量开始复现问题,然后从 source 至 sink 再排查。
祝好,
庆盛
> On Jun 26, 2022, at 11:54, casel.chen wrote:
>
> mysql cdc -> kafka -> mongodb
> 写了一个flink
>
mysql cdc -> kafka -> mongodb
写了一个flink
1.13.2作业从kafka消费mysql整库变更topic并实时同步写入mongodb,也开启了checkpoint,但实测下来发现从savepoint恢复和从groupOffsets恢复会造成数据丢失,请问这应该怎么排查?代码仓库地址:https://github.com/ChenShuai1981/mysql2mongodb.git
我的MongodbSink有实现CheckpointedFunction,并在snapshotState方法中会等待所有子线程完成写mongodb。