我刚调研flink sql cdc功能,我有一个这样的需求,就是三张CDC的表做left join关联,由于三张表都会变化,所以使用cdc来做。 前两张表数据每张大概20万条数据,最后一张表只有几十条数据,我是讲三张表关联之后做成宽表写入的mysql中。 每次数据写到10万条左右任务失败,查看了一下日志,是checkpoint超时造成的。状态后端用的rocksDB。我想问 数据量也不是很大,为什么checkpoint会超时呢,也就是10分钟没有完成checkpoint?
- 使用flink-CDC checkpoint超时问题 丁浩浩
- Re: 使用flink-CDC checkpoint超时问题 zhisheng