hi
1 checkpoint/savepoint 可以理解为将 状态备份到远程存储,恢复的时候会通过 operator 的 uid 来恢复
state,如果你确定不希望某些 operator 的 state 不进行恢复的话,或者使用不同的 uid
可以达到你的需求,具体的可以看一下这个文档的内容[1]
2 合并的时候如果想把 savepoint/checkpoint 用起来,还是需要修改 checkpoint/savepoint
的内容,或者你可以试试 state processor api[2]
[1]
https://ci.apache.org/projects/fli
请教几个关于基于状态重启的问题。
问题1:基于检查点/保存点启动时候能否指定部分结点不使用状态。
为什么有这么个需求呢,下面说下背景。
任务A:5分钟粒度的统计PV,使用event time,每10s一次触发更新到数据库。
任务B:天级别任务,利用了状态。
如上任务A和B,我整合为一个大任务提交到flink执行。假设有某种场景下,某些数据错误等,我需要做修复等。并且修复方案需要能做到:从指定时间开始运行(这个是我基于kafkaSouce设置开始时间实现),同时配合一个时间范围过滤算子实现。但是flink如果基于状态重启,则kafkaSouce的offset会基于状态中的offset来做,而不