Re: flink mysql cdc支持mysql的json格式吗？

[hk__lrzy]

https://debezium.io/documentation/reference/1.5/connectors/mysql.html#mysql-basic-types
支持



--
Sent from: http://apache-flink.147419.n8.nabble.com/

Re: flink checkpoint 数据清理问题

[hk__lrzy]

1. state.checkpoints.num-retained 设置保存checkpoint的数量。
2. 因为你写的本地文件，所以JM侧的集群是否只在checkpoint的metadata信息，而其他机器上保存着具体的state状态



--
Sent from: http://apache-flink.147419.n8.nabble.com/

Re: 多个复杂算子保证精准一次性

[hk__lrzy]

所有算子都需要维护。



--
Sent from: http://apache-flink.147419.n8.nabble.com/

Re: Flink 1.5.0 savepoint 失败

[hk__lrzy]

代码是不是主动设置过stagebackend的地址呢



--
Sent from: http://apache-flink.147419.n8.nabble.com/

Re: Flink1.10.0 的checkpoint越来越大

[hk__lrzy]

状态每次有做过清理么。还是在原始基础上进行add的呢，可以贴下代码



--
Sent from: http://apache-flink.147419.n8.nabble.com/

回复： Flink使用Kafka作为source时checkpoint成功提交offset的机制

[hk__lrzy]

你是说emit之后的offset commit么？可以看下
`Kafka09Fetcher`的runFetchLoop方法


在2020年07月29日 15:09，shuwen zhou 写道：
比如读到一条offset值为100的消息，有Kafka Consumer source，一个Process算子和一个Sink算子
那么在这条消息到达Process算子，还未到达Sink算子时，提交offset是100吗？

On Wed, 29 Jul 2020 at 14:51, venn  wrote:

checkpoint成功时就会把它的offset提交，可以看下这个类:  FlinkKafkaConsumerBase  的 这个方法：
notifyCheckpointComplete

-Original Message-
From: user-zh-return-5976-wxchunjhyy=163@flink.apache.org
 On Behalf Of
shuwen zhou
Sent: 2020年7月29日 14:24
To: user-zh@flink.apache.org
Subject: Flink使用Kafka作为source时checkpoint成功提交offset的机制

大家好，请教一个问题，

当Flink在使用Kafka作为source，并且checkpoint开启时，提交的offset是在消息被链路最后一个算子处理之后才会把这条offset提交吗？
还是说这个消息只要从Kafka source读取后，不论链路处理到哪个算子， checkpoint成功时就会把它的offset提交呢？

另外有大神指路这段代码具体在哪个文件吗？
谢谢！

--
Best Wishes,
Shuwen Zhou



--
Best Wishes,
Shuwen Zhou