Re: Flink应用高可靠

2022-07-25 文章 Zhanghao Chen
冷备部署的话可以通过一个外围的作业管控服务定期做 savepoint 并拷贝到另一条链路的 HDFS 集群上,故障时从另一条链路重启作业即可。 Best, Zhanghao Chen From: andrew <15021959...@163.com> Sent: Monday, July 25, 2022 10:05:39 PM To: user-zh Subject: Flink应用高可靠 Dear Flink: 你好! 现有一个需求,Flink实时计算平台任务对下游用户很重要,不能出问题

Flink应用高可靠

2022-07-25 文章 andrew
Dear Flink: 你好! 现有一个需求,Flink实时计算平台任务对下游用户很重要,不能出问题。单位准备搭建一套灾备大数据实时集群(kakfa/yarn/hdfs)去部署相同的Flink任务,做应用热备或冷备部署! 下游业务系统没有做双活热备部署! 疑问是: 1. 主集群故障,切换灾备集群 涉及有大量带中间状态的数据实时应用一旦主集群出问题,灾备集群如何同步最新状态的数据进行计算 2. 主集群若恢复,灾备集群切换后的正常任务如何做数据回迁处理 针对上述需求,社区有没有案例可以提供测试验证!谢谢