Re:flink sql cdc数据同步至mysql

2021-06-12 文章 casel.chen
即使下游sink能加大并行度,也不能确保上游同一个PK记录会流入到同一个task,也就无法保证操作同一条记录的顺序能正确replay,不是么? 在 2021-06-11 19:30:39,"东东" 写道: > > > >1、升级到1.13 >2、能不能追上要看写入量到底有多大,以及下游的处理能力啊,就是mysql自己的主从复制也不一定能确保追上,实践就知道了。 >3、可以设置一下default.parallism试试,如果发现被chain到一起了,可以把operator chain关掉试试。 > > >在 2021-06-11

Re:flink sql cdc数据同步至mysql

2021-06-10 文章 东东
1、有必要考虑其他方案了,如果是单表存量数据很大,且不说下游sink的问题,单单是snapshot阶段可能耗时过长,如果一旦失败,就只能整体重来(因为此时不能做checkpoint),任务的成功率就很值得怀疑(当然主要还看存量数据到底有多大)。另外,如果能获取全局锁还好,如果无法获取,则会锁表直到存量数据全部拷贝完毕,基本等于业务down掉。 2、如果只是简单的insert into xxx select xxx,就不用担心,runtime在遇到上下游并行度不一致时,如果有主键会按照主键hash的。 在 2021-06-08 14:05:17,"casel.chen" 写道: