回复: Re: flink 1.11 cdc相关问题

2020-07-24 文章 amen...@163.com
多谢!已关注~ Best amen...@163.com 发件人: Leonard Xu 发送时间: 2020-07-24 16:20 收件人: user-zh 主题: Re: flink 1.11 cdc相关问题 Hi amenhub 针对这个问题,我建了个issue来跟踪这个问题[1], 另外你可以在你的PG 里面把表的IDENTITY设置为FULL,这样 debezium 同步的UPDATE数据就会有完整的信息, DB命令是:ALTER TABLE yourTable REPLICA IDENTITY FULL, 可以参考debezium官网文档[2] Best

Re: flink 1.11 cdc相关问题

2020-07-24 文章 Leonard Xu
> 发件人: Jark Wu > 发送时间: 2020-07-22 23:56 > 收件人: user-zh > 主题: Re: flink 1.11 cdc相关问题 > Hi, > > 这是个已知问题,目前 debezium 同步不同数据库并没有保证一模一样地数据格式,比如同步 PG 的UPDATE消息时候,before 和 > after 字段就不是全的。 > 这个问题会在后面地版本中解决。 > > Best, > Jark > > On Wed, 22 Jul 2020 at 21:07, Leonar

Re: Re: flink 1.11 cdc相关问题

2020-07-22 文章 amen...@163.com
感谢二位大佬@Leonard, @Jark的解答! amen...@163.com 发件人: Jark Wu 发送时间: 2020-07-22 23:56 收件人: user-zh 主题: Re: flink 1.11 cdc相关问题 Hi, 这是个已知问题,目前 debezium 同步不同数据库并没有保证一模一样地数据格式,比如同步 PG 的UPDATE消息时候,before 和 after 字段就不是全的。 这个问题会在后面地版本中解决。 Best, Jark On Wed, 22 Jul 2020 at 21:07, Leonard Xu wrote

Re: flink 1.11 cdc相关问题

2020-07-22 文章 Jark Wu
Hi, 这是个已知问题,目前 debezium 同步不同数据库并没有保证一模一样地数据格式,比如同步 PG 的UPDATE消息时候,before 和 after 字段就不是全的。 这个问题会在后面地版本中解决。 Best, Jark On Wed, 22 Jul 2020 at 21:07, Leonard Xu wrote: > Hello, > > 代码在为before这条数据设置rowKind时抛了一个NPE,before正常应该是不为null的。 > 看起来是你的数据问题,一条 update 的changelog, before 为null, >

Re: flink 1.11 cdc相关问题

2020-07-22 文章 Leonard Xu
Hello, 代码在为before这条数据设置rowKind时抛了一个NPE,before正常应该是不为null的。 看起来是你的数据问题,一条 update 的changelog, before 为null, 这是不合理的,没有before的数据,是无法处理after的数据的。 如果确认是脏数据,可以开启ignore-parse-errors跳过[1] 祝好 Leonard

flink 1.11 cdc相关问题

2020-07-22 文章 amen...@163.com
hi everyone, 小白通过debezium将pgsql cdc数据同步至kafka之后,使用我们flink的sql client提交测试任务,但当kafka端cdc json数据一开始发送,任务即报错,通过web ui log查看界面发现错误日志如下,还请大佬帮忙分析,谢谢! 分割线== DDL: CREATE TABLE pgsql_person_cdc( id BIGINT, name STRING, age