Hello

> Flink1.11 的cdc是支持加载历史数据的,有两个问题想求证一下:
> 1.底层是使用了debezium来加载历史数据的吗?
Flink支持两种CDC格式,debezium json和 canal json, debezium 和 
canal都是CDC系统,简单说他们可以把数据库表的binlog以对应的json写入到消息队列如Kafka,
作为下游系统的Flink 支持去消费对应的cdc数据,两个CDC工作都支持加载历史数据的。
另外Jark 在Veverica 开源了一个Flink CDC connector 
[1],支持利用debezuim直接读取数据库的cdc数据,不需要搭建CDC系统。

> 2.debezium是通过jdbc查询源表的数据来加载全量的历史数据吗? 这块会不会对数据库造成瞬时压力?
不会,不是直接查询源表,所以不会锁表,加载全量历史数据时只是读取binlog的一个offset


Best
Leonard
[1] https://github.com/ververica/flink-cdc-connectors 
<https://github.com/ververica/flink-cdc-connectors>

回复