@Jark,感谢回复,很好的解答了我的疑惑
Best,
Xingxing Di
Sender: Jark Wu
Send Time: 2020-08-27 20:13
Receiver: user-zh
Subject: Re: Re: 请问一下,flink 1.11 的cdc历史数据问题
Hi,
debezium 是支持全量加载的。debezium 的一个亮点就是能够加载完存量数据以后能够无缝切换到 binlog 模式。
全量加载可以看下 SnapshotReader。
另外,全量数据导入到 kafka ,然后从 kafka 加载全量再切换到 mysql
binlog,这
st
> offset消费,得到全量的历史数据。
>
> 不知道我的理解是否正确,希望能帮忙解答
>
>
>
> Best,
> Xingxing Di
>
> 发件人: Leonard Xu
> 发送时间: 2020-08-25 10:03
> 收件人: user-zh
> 主题: Re: 请问一下,flink 1.11 的cdc历史数据问题
> Hello
>
> > Flink1.11 的cdc是支持加载历史数据的,有两个问题想求证一下:
> > 1.底层是使用了debezium来加载历
确,希望能帮忙解答
Best,
Xingxing Di
发件人: Leonard Xu
发送时间: 2020-08-25 10:03
收件人: user-zh
主题: Re: 请问一下,flink 1.11 的cdc历史数据问题
Hello
> Flink1.11 的cdc是支持加载历史数据的,有两个问题想求证一下:
> 1.底层是使用了debezium来加载历史数据的吗?
Flink支持两种CDC格式,debezium json和 canal json, debezium 和
canal都是CDC系统,简单说他们可以把数据库表的binlog以对应的json写入到消
Hello
> Flink1.11 的cdc是支持加载历史数据的,有两个问题想求证一下:
> 1.底层是使用了debezium来加载历史数据的吗?
Flink支持两种CDC格式,debezium json和 canal json, debezium 和
canal都是CDC系统,简单说他们可以把数据库表的binlog以对应的json写入到消息队列如Kafka,
作为下游系统的Flink 支持去消费对应的cdc数据,两个CDC工作都支持加载历史数据的。
另外Jark 在Veverica 开源了一个Flink CDC connector
应该是。通过源码可以知道flink-json目前支持2种内置json格式的解析,一个是canal,一个是debezium。
具体可参考:
org.apache.flink.formats.json.canal.CanalJsonDeserializationSchema 和
org.apache.flink.formats.json.debezium.DebeziumJsonDeserializationSchema
在 2020/8/24 17:27, dixingxin...@163.com 写道:
Hi all:
Flink1.11
Hi all:
Flink1.11 的cdc是支持加载历史数据的,有两个问题想求证一下:
1.底层是使用了debezium来加载历史数据的吗?
2.debezium是通过jdbc查询源表的数据来加载全量的历史数据吗? 这块会不会对数据库造成瞬时压力?
希望能帮忙解答一下,谢谢。
Best,
Xingxing Di