Hi, all
我们在使用Flink CDC同步多张表,然后合并slink到一张es表中。但表之间有数据流转关系,比如有table_1, table_2, table2,
一条数据A之前table_1,但后续可能更新到table_2。
想请教下,如果使用正则表达式匹配同步分表,是否可以保证数据有序无误呢? 也就是全部分表同时快照,且等待所有分表快照同步完后才开始处理binlog。
从文档[1]中看到对于单表这种模式是可以保证的,但不确定多表且有数据流转是否也一样。
[1]
https://ververica.github.io/flink-cdc-connectors/mast
发件人: 胡伟华
发送时间: 2022年3月1日 21:07
收件人: user-zh@flink.apache.org
主题: Re: Flink FailureRateRestartStrategy策略异常
1. 可以根据作业的 region 数量、单 TaskManager Slot 数量综合来考虑,我个人建议要容忍 1~2 台 TM 故障而不直接退出
2. 预期也是会超过重试次数退出的,可以从日志看看没有退出的原因
> 2022年3月1日 下午3:08,刘 家锹 写道:
>
> 是的,我们用的pipeline
/ops/state/task_failure_recovery/#restart-pipelined-region-failover-strategy
> 2022年3月1日 上午10:34,刘 家锹 写道:
>
> 你好,伙伴们
> 我们最近碰到一个关于FailureRateRestartStrategy策略的问题,有点困惑。情况是这样子的:
>
> Flink版本:0.10.1
> 部署方式: on Yarn
> FailureRateRestartStrategy配置:failuresIntervalMS=6
你好,伙伴们
我们最近碰到一个关于FailureRateRestartStrategy策略的问题,有点困惑。情况是这样子的:
Flink版本:0.10.1
部署方式: on Yarn
FailureRateRestartStrategy配置:failuresIntervalMS=6,backoffTimeMS=15000,maxFailuresPerInterval=4
当时我们hadoop集群的一台机器假死卡住,而Flink任务的TaskManager就运行在这台机器上。机器故障时,JobManager收到了heartbeat超时异常,从日志上看是连续抛出的4次超时异常(每个异