你是说emit之后的offset commit么?可以看下
`Kafka09Fetcher`的runFetchLoop方法


在2020年07月29日 15:09,shuwen zhou<jaco...@gmail.com> 写道:
比如读到一条offset值为100的消息,有Kafka Consumer source,一个Process算子和一个Sink算子
那么在这条消息到达Process算子,还未到达Sink算子时,提交offset是100吗?

On Wed, 29 Jul 2020 at 14:51, venn <wxchunj...@163.com> wrote:

checkpoint成功时就会把它的offset提交,可以看下这个类:  FlinkKafkaConsumerBase  的 这个方法:
notifyCheckpointComplete

-----Original Message-----
From: user-zh-return-5976-wxchunjhyy=163....@flink.apache.org
<user-zh-return-5976-wxchunjhyy=163....@flink.apache.org> On Behalf Of
shuwen zhou
Sent: 2020年7月29日 14:24
To: user-zh@flink.apache.org
Subject: Flink使用Kafka作为source时checkpoint成功提交offset的机制

大家好,请教一个问题,

当Flink在使用Kafka作为source,并且checkpoint开启时,提交的offset是在消息被链路最后一个算子处理之后才会把这条offset提交吗?
还是说这个消息只要从Kafka source读取后,不论链路处理到哪个算子, checkpoint成功时就会把它的offset提交呢?

另外有大神指路这段代码具体在哪个文件吗?
谢谢!

--
Best Wishes,
Shuwen Zhou



--
Best Wishes,
Shuwen Zhou <http://www.linkedin.com/pub/shuwen-zhou/57/55b/599/>

Reply via email to