Hi,
Flink Kafka connector 会在 checkpoint 完成后将位点提交至 Kafka broker，但是 Flink 并不会依赖于提交到
Kafka broker 上的位点做故障恢复，而是使用 checkpoint 中存储的位点恢复。
关于丢失数据个人建议可以先从小数据量开始复现问题，然后从 source 至 sink 再排查。
祝好，
庆盛
> On Jun 26, 2022, at 11:54, casel.chen wrote:
>
> mysql cdc -> kafka -> mongodb
> 写了一个flink
> 1.13.2作业从kafka消费mysql整库变更topic并实时同步写入mongodb，也开启了checkpoint，但实测下来发现从savepoint恢复和从groupOffsets恢复会造成数据丢失，请问这应该怎么排查？代码仓库地址：https://github.com/ChenShuai1981/mysql2mongodb.git
> 我的MongodbSink有实现CheckpointedFunction，并在snapshotState方法中会等待所有子线程完成写mongodb。
>
>
> flink消费kafka处理数据后提交kafka
> offset的流程是怎样的？一开始消费kafka获取到pendingOffsets，如何确保这些pendingOffsets都处理完成然后全部提交呢？有没有这块源码解析资料？
>
