Re: Re: 请问一下,flink 1.11 的cdc历史数据问题

2020-08-28 文章 dixingxin...@163.com
@Jark,感谢回复,很好的解答了我的疑惑 Best, Xingxing Di Sender: Jark Wu Send Time: 2020-08-27 20:13 Receiver: user-zh Subject: Re: Re: 请问一下,flink 1.11 的cdc历史数据问题 Hi, debezium 是支持全量加载的。debezium 的一个亮点就是能够加载完存量数据以后能够无缝切换到 binlog 模式。 全量加载可以看下 SnapshotReader。 另外,全量数据导入到 kafka ,然后从 kafka 加载全量再切换到 mysql binlog,这

Re: Re: 请问一下,flink 1.11 的cdc历史数据问题

2020-08-27 文章 Jark Wu
st > offset消费,得到全量的历史数据。 > > 不知道我的理解是否正确,希望能帮忙解答 > > > > Best, > Xingxing Di > > 发件人: Leonard Xu > 发送时间: 2020-08-25 10:03 > 收件人: user-zh > 主题: Re: 请问一下,flink 1.11 的cdc历史数据问题 > Hello > > > Flink1.11 的cdc是支持加载历史数据的,有两个问题想求证一下: > > 1.底层是使用了debezium来加载历

回复: Re: 请问一下,flink 1.11 的cdc历史数据问题

2020-08-24 文章 dixingxin...@163.com
确,希望能帮忙解答 Best, Xingxing Di 发件人: Leonard Xu 发送时间: 2020-08-25 10:03 收件人: user-zh 主题: Re: 请问一下,flink 1.11 的cdc历史数据问题 Hello > Flink1.11 的cdc是支持加载历史数据的,有两个问题想求证一下: > 1.底层是使用了debezium来加载历史数据的吗? Flink支持两种CDC格式,debezium json和 canal json, debezium 和 canal都是CDC系统,简单说他们可以把数据库表的binlog以对应的json写入到消

Re: 请问一下,flink 1.11 的cdc历史数据问题

2020-08-24 文章 Leonard Xu
Hello > Flink1.11 的cdc是支持加载历史数据的,有两个问题想求证一下: > 1.底层是使用了debezium来加载历史数据的吗? Flink支持两种CDC格式,debezium json和 canal json, debezium 和 canal都是CDC系统,简单说他们可以把数据库表的binlog以对应的json写入到消息队列如Kafka, 作为下游系统的Flink 支持去消费对应的cdc数据,两个CDC工作都支持加载历史数据的。 另外Jark 在Veverica 开源了一个Flink CDC connector

Re: 请问一下,flink 1.11 的cdc历史数据问题

2020-08-24 文章 taochanglian
应该是。通过源码可以知道flink-json目前支持2种内置json格式的解析,一个是canal,一个是debezium。 具体可参考: org.apache.flink.formats.json.canal.CanalJsonDeserializationSchema 和 org.apache.flink.formats.json.debezium.DebeziumJsonDeserializationSchema 在 2020/8/24 17:27, dixingxin...@163.com 写道: Hi all: Flink1.11

请问一下,flink 1.11 的cdc历史数据问题

2020-08-24 文章 dixingxin...@163.com
Hi all: Flink1.11 的cdc是支持加载历史数据的,有两个问题想求证一下: 1.底层是使用了debezium来加载历史数据的吗? 2.debezium是通过jdbc查询源表的数据来加载全量的历史数据吗? 这块会不会对数据库造成瞬时压力? 希望能帮忙解答一下,谢谢。 Best, Xingxing Di