Hi Benchao 可以解释一下为什么sink没有两阶段提交，那就是at least once 的语义吗？ 比如source和 sink 都是kafka， 如果 sink 不是两段式提交，那么checkpoint 的state 就只是source 的 offset，这种情况下和使用kafka auto commit offset 看起来似乎没有什么区别
可否具体解释一下？ 谢谢！ Eleanore On Tue, Aug 25, 2020 at 9:59 PM Benchao Li <libenc...@apache.org> wrote: > 这种情况需要打开checkpoint来保证数据的不丢。如果sink没有两阶段提交，那就是at least once语义。 > > 范超 <fanc...@mgtv.com> 于2020年8月26日周三 上午11:38写道： > > > 大家好，我现在有个疑问 > > 目前我使用kafka作为source，经过计算以后，将结果sink到数据库； > > > > > 后来日志数据库发生了timeout或者宕机，kafka这边的主题，却消费掉了造成了数据丢失，那么如何设置才可以确认在sink失败的时候，不提交kafka的消费位移呢？ > > > > > > 多谢大家了 > > > > 范超 > > > > > -- > > Best, > Benchao Li >
