你好,应该是配合kafka 事务,在checkpoint的时候做事务提交,下游只读取commit的消息就能保证exactly-once,当然,会丧失一定的时效性

Jasine Chen
jasinec...@gmail.com
Beijing
On Sep 9, 2019, 11:50 AM +0800, Jimmy Wong <wangzmk...@163.com>, wrote:
> Hi,all:
> 请教一下,我设置 checkpoint 的时间是 5 分钟,如果在这 5 分钟之内,某个 task 挂了,然后又重新拉起。我是不是可以理解为这时候从 
> checkpoint 的数据获得的是这 5 分钟之前的 Kafka offset,但是这 5 分钟之内的消息已经消费,流向下游。重新拉起之后,source 
> 重放,那么这时候这 5 分钟的数据会再次被消费麽?如果再次消费,那么怎么保证 Extractly-Once 呢?
> | |
> Jimmy
> |
> |
> wangzmk...@163.com
> |
> 签名由网易邮箱大师定制
>

Reply via email to