即使下游sink能加大并行度,也不能确保上游同一个PK记录会流入到同一个task,也就无法保证操作同一条记录的顺序能正确replay,不是么?
在 2021-06-11 19:30:39,"东东" 写道:
>
>
>
>1、升级到1.13
>2、能不能追上要看写入量到底有多大,以及下游的处理能力啊,就是mysql自己的主从复制也不一定能确保追上,实践就知道了。
>3、可以设置一下default.parallism试试,如果发现被chain到一起了,可以把operator chain关掉试试。
>
>
>在 2021-06-11
1、有必要考虑其他方案了,如果是单表存量数据很大,且不说下游sink的问题,单单是snapshot阶段可能耗时过长,如果一旦失败,就只能整体重来(因为此时不能做checkpoint),任务的成功率就很值得怀疑(当然主要还看存量数据到底有多大)。另外,如果能获取全局锁还好,如果无法获取,则会锁表直到存量数据全部拷贝完毕,基本等于业务down掉。
2、如果只是简单的insert into xxx select xxx,就不用担心,runtime在遇到上下游并行度不一致时,如果有主键会按照主键hash的。
在 2021-06-08 14:05:17,"casel.chen" 写道: