Hi 可以尝试去flink配置的checkpoint dir下面去找一找历史chk-x文件夹,如果能找到历史的chk-x,可以尝试手工指定 chk重启[1]。
> flink任务是10个checkpoint,每个checkpoint间隔5秒,如果突然停电,为什么所有的checkpoint都损坏了。 请问作业开启增量checkpoint了吗?在开启了增量的情况下,如果是比较早的一个checkpoint的文件损坏了,会影响后续基于它进行增量的checkpoint。 > checkpoint落盘的机制,这个应该和hdfs写入有关系,flink任务checkpoint成功,但是hdfs却没有落盘。 是观察到checkpoint dir下面没有文件吗? [1] https://nightlies.apache.org/flink/flink-docs-release-1.16/docs/ops/state/savepoints/#resuming-from-savepoints guanyq <dlgua...@163.com> 于2023年3月10日周五 08:58写道: > > 目前也想着用savepoint处理异常停电的问题 > 但是我这面还有个疑问: > flink任务是10个checkpoint,每个checkpoint间隔5秒,如果突然停电,为什么所有的checkpoint都损坏了。 > 就很奇怪是不是10个checkpoint都没落盘导致的。 > 想问下: > checkpoint落盘的机制,这个应该和hdfs写入有关系,flink任务checkpoint成功,但是hdfs却没有落盘。 > > > > > > > > > > > > > > > > > > 在 2023-03-10 08:47:11,"Shammon FY" <zjur...@gmail.com> 写道: > >Hi > > > >我觉得Flink > >作业恢复失败时,作业本身很难确定失败是checkpoint的文件块损坏之类的原因。如果你的作业做过savepoint,可以尝试从指定的savepoint恢复作业 > > > >Best, > >Shammon > > > >On Thu, Mar 9, 2023 at 10:06 PM guanyq <dlgua...@163.com> wrote: > > > >> 前提 > >> 1.flink配置了高可用 > >> 2.flink配置checkpoint数为10 > >> 3.yarn集群配置了任务恢复 > >> 疑问 > >> yarn集群停电重启后,恢复flink任务时,如果最近的checkpoint由于停电导致块损坏,是否会尝试从其他checkpoint启动 > >> > >> > >> > >> -- Best, Yanfei