大家好,我最近采用了flink cdc 对接mysql binlog ,每次重启或者停止job后,都是从表的第一条数据开始消费。
有做checkpoint和持久化,并且日志提示checkpoint成功,不知道为何重启应用始终是从头开始消费?
按照官方定义
.startupOptions(StartupOptions.initial()) 应该是历史+增量才对
flink 版本:1.12.2
flink cdc 版本:flink-sql-connector-mysql-cdc-1.4-SNAPSHOT.jar
相关核心代码:
一个查Flink与集群B的网络连通性,一个是查集群B本身服务状态,比如是所有topic都连不上还是某个topic连不上,是不是有节点挂掉了,另外一个再看看kafka的_offset_consumer是不是单节点正好挂了,如果是单个topic看分区问题。
> 2021年4月23日 18:45,wysstar...@163.com 写道:
>
> 应该是flink 连接不上kafka ,建议往docker 的网络设置上找找看问题
>
> 发自我的iPhone
>
>> 在 2021年4月23日,下午12:56,Qingsheng Ren 写道:
>>
>> 你好 Jacob,
应该是flink 连接不上kafka ,建议往docker 的网络设置上找找看问题
发自我的iPhone
> 在 2021年4月23日,下午12:56,Qingsheng Ren 写道:
>
> 你好 Jacob,
>
> 从错误上来看是 Kafka Consumer 没有连上 Kafka Brokers。这些方法可能帮助排查问题:
>
> 1. 确认 Flink TaskManager 和 Kafka Broker 之间的网络连通性。
> 2. Flink TaskManager 与 Kafka Broker 之间网络连通并不意味着能够消费数据,可能需要修改 Kafka
flink1.12.2 on yarn 3.1.5 作业手动触发savepoint 成功 然后使用run -s 启动成功 但是访问flinkui
报service temporarily unavailable due to an ongoing leader election
--
Sent from: http://apache-flink.147419.n8.nabble.com/
退订
把InputOutputFormatVertex这个类简单改下就可以支持了,但是不理解官方不支持的原因,有人能解答一下吗?
--
Sent from: http://apache-flink.147419.n8.nabble.com/
如题。
我理解对于写文件类型OutputFormat,用这两个方法在jobmanager里面在任务开始前删除/创建文件夹,在任务结束后把文件移动到正式目录,使文件可见。
但是比如对于RDB类型的InputFormat,如果也能用这两个接口,那么比如说在任务开始前查询当前数据库的记录数,这样对于构建数据分片做多通道,以及增加执行进度指标都很有帮助。
--
Sent from: http://apache-flink.147419.n8.nabble.com/
如题。
我理解对于写文件类型OutputFormat,用这两个方法在jobmanager里面在任务开始前删除/创建文件夹,在任务结束后把文件移动到正式目录,使文件可见。
但是比如对于RDB类型的InputFormat,如果也能用这两个接口,那么比如说在任务开始前查询当前数据库的记录数,这样对于构建数据分片做多通道,以及增加执行进度指标都很有帮助。
--
Sent from: http://apache-flink.147419.n8.nabble.com/
??upsert-kafkasinkkeypartition??keyA??B??kafka,
??upsert-kafka??key??A??B??A
----
??: