目前业内针对多条flink 
cdc作业消费同一个库下不同表为了防止对数据库方产生很大查询压力,一般都是发到kafka,但这样的话下游作业只能获取到实时增量数据进行处理,如果下游作业需要获取全量数据处理的话,还得再回过头来使用cdc
 connector,但这样会产生上述副作用。我在想作业是否能够在获取到全量数据之后做一个checkpoint,接下来就可以改使用kafka 
connector? 续接的点是binlog offset,即cdc connector消费到的binlog offset要续接上kafka 
connector某个消息带的binlog offset。不知道这种想法是否可行?

回复