目前业内针对多条flink cdc作业消费同一个库下不同表为了防止对数据库方产生很大查询压力,一般都是发到kafka,但这样的话下游作业只能获取到实时增量数据进行处理,如果下游作业需要获取全量数据处理的话,还得再回过头来使用cdc connector,但这样会产生上述副作用。我在想作业是否能够在获取到全量数据之后做一个checkpoint,接下来就可以改使用kafka connector? 续接的点是binlog offset,即cdc connector消费到的binlog offset要续接上kafka connector某个消息带的binlog offset。不知道这种想法是否可行?
- 咨询多条flink cdc作业消费同一个库下不同表优化方案 casel.chen