Re: Flink消费kafka实时同步到MongoDB出现丢数据

2022-06-26 文章 Qingsheng Ren
Hi, Flink Kafka connector 会在 checkpoint 完成后将位点提交至 Kafka broker,但是 Flink 并不会依赖于提交到 Kafka broker 上的位点做故障恢复,而是使用 checkpoint 中存储的位点恢复。 关于丢失数据个人建议可以先从小数据量开始复现问题,然后从 source 至 sink 再排查。 祝好, 庆盛 > On Jun 26, 2022, at 11:54, casel.chen wrote: > > mysql cdc -> kafka -> mongodb > 写了一个flink >

Flink消费kafka实时同步到MongoDB出现丢数据

2022-06-25 文章 casel.chen
mysql cdc -> kafka -> mongodb 写了一个flink 1.13.2作业从kafka消费mysql整库变更topic并实时同步写入mongodb,也开启了checkpoint,但实测下来发现从savepoint恢复和从groupOffsets恢复会造成数据丢失,请问这应该怎么排查?代码仓库地址:https://github.com/ChenShuai1981/mysql2mongodb.git 我的MongodbSink有实现CheckpointedFunction,并在snapshotState方法中会等待所有子线程完成写mongodb。