flink cdc 消费mysql binlog 每次都是从头开始消费问题

2021-04-23 文章 董建
大家好,我最近采用了flink cdc 对接mysql binlog ,每次重启或者停止job后,都是从表的第一条数据开始消费。 有做checkpoint和持久化,并且日志提示checkpoint成功,不知道为何重启应用始终是从头开始消费? 按照官方定义 .startupOptions(StartupOptions.initial()) 应该是历史+增量才对 flink 版本:1.12.2 flink cdc 版本:flink-sql-connector-mysql-cdc-1.4-SNAPSHOT.jar 相关核心代码:

Re: Flink job消费kafka 失败,无法拿到offset值

2021-04-23 文章 liang zhao
一个查Flink与集群B的网络连通性,一个是查集群B本身服务状态,比如是所有topic都连不上还是某个topic连不上,是不是有节点挂掉了,另外一个再看看kafka的_offset_consumer是不是单节点正好挂了,如果是单个topic看分区问题。 > 2021年4月23日 18:45,wysstar...@163.com 写道: > > 应该是flink 连接不上kafka ,建议往docker 的网络设置上找找看问题 > > 发自我的iPhone > >> 在 2021年4月23日,下午12:56,Qingsheng Ren 写道: >> >> 你好 Jacob,

Re: Flink job消费kafka 失败,无法拿到offset值

2021-04-23 文章 wysstartgo
应该是flink 连接不上kafka ,建议往docker 的网络设置上找找看问题 发自我的iPhone > 在 2021年4月23日,下午12:56,Qingsheng Ren 写道: > > 你好 Jacob, > > 从错误上来看是 Kafka Consumer 没有连上 Kafka Brokers。这些方法可能帮助排查问题: > > 1. 确认 Flink TaskManager 和 Kafka Broker 之间的网络连通性。 > 2. Flink TaskManager 与 Kafka Broker 之间网络连通并不意味着能够消费数据,可能需要修改 Kafka

temporarily unavailable due to an ongoing leader election

2021-04-23 文章 tianxy
flink1.12.2 on yarn 3.1.5 作业手动触发savepoint 成功 然后使用run -s 启动成功 但是访问flinkui 报service temporarily unavailable due to an ongoing leader election -- Sent from: http://apache-flink.147419.n8.nabble.com/

退订

2021-04-23 文章 shao.hongxiao
退订

Re: InitializeOnMaster和FinalizeOnMaster接口为什么只有OutputFormat能用,InputFormat为什么不能用?

2021-04-23 文章 kanata163
把InputOutputFormatVertex这个类简单改下就可以支持了,但是不理解官方不支持的原因,有人能解答一下吗? -- Sent from: http://apache-flink.147419.n8.nabble.com/

InitializeOnMaster和FinalizeOnMaster接口为什么只有OutputFormat能用,InputFormat为什么不能用?

2021-04-23 文章 kanata163
如题。 我理解对于写文件类型OutputFormat,用这两个方法在jobmanager里面在任务开始前删除/创建文件夹,在任务结束后把文件移动到正式目录,使文件可见。 但是比如对于RDB类型的InputFormat,如果也能用这两个接口,那么比如说在任务开始前查询当前数据库的记录数,这样对于构建数据分片做多通道,以及增加执行进度指标都很有帮助。 -- Sent from: http://apache-flink.147419.n8.nabble.com/

InitializeOnMaster和FinalizeOnMaster接口为什么只有OutputFormat能用,InputFormat为什么不能用?

2021-04-23 文章 kanata163
如题。 我理解对于写文件类型OutputFormat,用这两个方法在jobmanager里面在任务开始前删除/创建文件夹,在任务结束后把文件移动到正式目录,使文件可见。 但是比如对于RDB类型的InputFormat,如果也能用这两个接口,那么比如说在任务开始前查询当前数据库的记录数,这样对于构建数据分片做多通道,以及增加执行进度指标都很有帮助。 -- Sent from: http://apache-flink.147419.n8.nabble.com/

?????? ????upsert-kafka connector??????

2021-04-23 文章 op
??upsert-kafkasinkkeypartition??keyA??B??kafka, ??upsert-kafka??key??A??B??A ---- ??: