Re: Re: flink savepoint checkpoint
Hello ，针对于你的问题 我发现一件有趣的事情 在我以 Yarn per-Job 方式 启动Job程序后 在yarn 的资源管理界面 可以看到我启动的任务 -> 它有属于自己的application-Id 然后当我 通过Yarn 的Tracking Ui 下的 Application <http://node01:8088/proxy/application_1577499691717_0064/>Master 点击进入到Job的Web Ui 界面后（flink的web ui）通过在此界面点击canal 这个按钮 kill 掉程序后 在Yarn 的 管理界面 发现还是有个空壳子的。 当我通过在终端输入 yarn application -kill Id 后 这个程序才会被杀死。 所以我初步认为 他是Stop 程序。 祝好！ Px amen...@163.com 于2020年1月10日周五 下午5:59写道： > hi，了解到使用stop进行任务停止并触发savepoint，会在停止之前生成max_watermark，并注册event-time计时器，我想请问使用yarn > kill方式直接停止任务，会属于cancel还是stop亦或是其他？ > > > > amen...@163.com > > From: Congxian Qiu > Date: 2020-01-10 17:16 > To: user-zh > Subject: Re: flink savepoint checkpoint > Hi > 从 Flink 的角度看，Checkpoint 用户 Job 运行过程中发生 failover 进行恢复，savepoint 用于 Job > 之间的状态复用。 > 另外，从 1.9 开始，可以尝试下 StopWithSavepoint[1]，以及社区另外一个 issue 尝试做 > StopWithCheckpoint[2] > > [1] https://issues.apache.org/jira/browse/FLINK-11458 > [2] https://issues.apache.org/jira/browse/FLINK-12619 > Best, > Congxian > > > zhisheng 于2020年1月10日周五 上午11:39写道： > > > hi，这个参数我理解的作用应该是：作业取消的时候是否清除之前的 checkpoint，但这个 checkpoint > > 的并不一定是作业最新的状态。而如果你取消命令的时候触发一次 savepoint，那么这次的状态就是最新且最全的。 > > > > 祝好！ > > zhisheng > > > > Px New <15701181132mr@gmail.com> 于2020年1月10日周五 上午10:58写道： > > > > > Hello ,针对于你这个问题 在FLink 中 是有这个配置的. 当程序stop时,会额外保存检查点 > > > --> > > > > > > > > > > > > env.getCheckpointConfig().enableExternalizedCheckpoints(CheckpointConfig.ExternalizedCheckpointCleanup.RETAIN_ON_CANCELLATION); > > > > > > > > > lucas.wu 于2019年12月11日周三 上午11:56写道： > > > > > > > hi 各位： > > > > > > > > > > > > > > 有个问题想和大家讨论一下，就是flink的savepoint为什么要设置成手动的？如果在stop程序的时候没有做savepoint的话，在我重启的时候就不能使用之前保存的一些状态信息。为什么不参考spark的方式，定时做checkpoint，然后启动的时候指定ck地址就可以从上次执行的地方继续执行。 > > > > > >
Re: Re: flink savepoint checkpoint
其实这个主要还是要看你checkpoint的时间间隔，就像我们看视频倒退一样，它们是两个不同的后退时间点，savepoint能在当下生成checkpoint数据，但是自动的checkpoint可能还要在更早的时间点上生成checkpoint数据（因为在cancel job的时候可能还不到自动checkpoint时间）。两种都可以，只是是一前一后，这也决定了你任务恢复的快慢。线上需要经常修改的job savepoint很实用。 个人觉得任务失败，不管是哪种方式失败（除非是savepoint），肯定是回到上一个自动checkpoint的点上，不会是在savepoint。 原始邮件 发件人: amen...@163.com 收件人: user-zh 发送时间: 2020年1月10日(周五) 17:58 主题: Re: Re: flink savepoint checkpoint hi，了解到使用stop进行任务停止并触发savepoint，会在停止之前生成max_watermark，并注册event-time计时器，我想请问使用yarn kill方式直接停止任务，会属于cancel还是stop亦或是其他？ amen...@163.com From: Congxian Qiu Date: 2020-01-10 17:16 To: user-zh Subject: Re: flink savepoint checkpoint Hi 从 Flink 的角度看，Checkpoint 用户 Job 运行过程中发生 failover 进行恢复，savepoint 用于 Job 之间的状态复用。 另外，从 1.9 开始，可以尝试下 StopWithSavepoint[1]，以及社区另外一个 issue 尝试做 StopWithCheckpoint[2] [1] https://issues.apache.org/jira/browse/FLINK-11458 [2] https://issues.apache.org/jira/browse/FLINK-12619 Best, Congxian zhisheng 于2020年1月10日周五 上午11:39写道： > hi，这个参数我理解的作用应该是：作业取消的时候是否清除之前的 checkpoint，但这个 checkpoint > 的并不一定是作业最新的状态。而如果你取消命令的时候触发一次 savepoint，那么这次的状态就是最新且最全的。 > > 祝好！ > zhisheng > > Px New <15701181132mr@gmail.com> 于2020年1月10日周五 上午10:58写道： > > > Hello ,针对于你这个问题 在FLink 中 是有这个配置的. 当程序stop时,会额外保存检查点 > > --> > > > > > > > env.getCheckpointConfig().enableExternalizedCheckpoints(CheckpointConfig.ExternalizedCheckpointCleanup.RETAIN_ON_CANCELLATION); > > > > > > lucas.wu 于2019年12月11日周三 上午11:56写道： > > > > > hi 各位： > > > > > > > > > 有个问题想和大家讨论一下，就是flink的savepoint为什么要设置成手动的？如果在stop程序的时候没有做savepoint的话，在我重启的时候就不能使用之前保存的一些状态信息。为什么不参考spark的方式，定时做checkpoint，然后启动的时候指定ck地址就可以从上次执行的地方继续执行。 > > >
Re: Re: flink savepoint checkpoint
hi，了解到使用stop进行任务停止并触发savepoint，会在停止之前生成max_watermark，并注册event-time计时器，我想请问使用yarn kill方式直接停止任务，会属于cancel还是stop亦或是其他？ amen...@163.com From: Congxian Qiu Date: 2020-01-10 17:16 To: user-zh Subject: Re: flink savepoint checkpoint Hi 从 Flink 的角度看，Checkpoint 用户 Job 运行过程中发生 failover 进行恢复，savepoint 用于 Job 之间的状态复用。 另外，从 1.9 开始，可以尝试下 StopWithSavepoint[1]，以及社区另外一个 issue 尝试做 StopWithCheckpoint[2] [1] https://issues.apache.org/jira/browse/FLINK-11458 [2] https://issues.apache.org/jira/browse/FLINK-12619 Best, Congxian zhisheng 于2020年1月10日周五 上午11:39写道： > hi，这个参数我理解的作用应该是：作业取消的时候是否清除之前的 checkpoint，但这个 checkpoint > 的并不一定是作业最新的状态。而如果你取消命令的时候触发一次 savepoint，那么这次的状态就是最新且最全的。 > > 祝好！ > zhisheng > > Px New <15701181132mr@gmail.com> 于2020年1月10日周五 上午10:58写道： > > > Hello ,针对于你这个问题 在FLink 中 是有这个配置的. 当程序stop时,会额外保存检查点 > > --> > > > > > > > env.getCheckpointConfig().enableExternalizedCheckpoints(CheckpointConfig.ExternalizedCheckpointCleanup.RETAIN_ON_CANCELLATION); > > > > > > lucas.wu 于2019年12月11日周三 上午11:56写道： > > > > > hi 各位： > > > > > > > > > 有个问题想和大家讨论一下，就是flink的savepoint为什么要设置成手动的？如果在stop程序的时候没有做savepoint的话，在我重启的时候就不能使用之前保存的一些状态信息。为什么不参考spark的方式，定时做checkpoint，然后启动的时候指定ck地址就可以从上次执行的地方继续执行。 > > >
Re: flink savepoint checkpoint
Hi 从 Flink 的角度看，Checkpoint 用户 Job 运行过程中发生 failover 进行恢复，savepoint 用于 Job 之间的状态复用。 另外，从 1.9 开始，可以尝试下 StopWithSavepoint[1]，以及社区另外一个 issue 尝试做 StopWithCheckpoint[2] [1] https://issues.apache.org/jira/browse/FLINK-11458 [2] https://issues.apache.org/jira/browse/FLINK-12619 Best, Congxian zhisheng 于2020年1月10日周五 上午11:39写道： > hi，这个参数我理解的作用应该是：作业取消的时候是否清除之前的 checkpoint，但这个 checkpoint > 的并不一定是作业最新的状态。而如果你取消命令的时候触发一次 savepoint，那么这次的状态就是最新且最全的。 > > 祝好！ > zhisheng > > Px New <15701181132mr@gmail.com> 于2020年1月10日周五 上午10:58写道： > > > Hello ,针对于你这个问题 在FLink 中 是有这个配置的. 当程序stop时,会额外保存检查点 > > --> > > > > > > > env.getCheckpointConfig().enableExternalizedCheckpoints(CheckpointConfig.ExternalizedCheckpointCleanup.RETAIN_ON_CANCELLATION); > > > > > > lucas.wu 于2019年12月11日周三 上午11:56写道： > > > > > hi 各位： > > > > > > > > > 有个问题想和大家讨论一下，就是flink的savepoint为什么要设置成手动的？如果在stop程序的时候没有做savepoint的话，在我重启的时候就不能使用之前保存的一些状态信息。为什么不参考spark的方式，定时做checkpoint，然后启动的时候指定ck地址就可以从上次执行的地方继续执行。 > > >
Re: flink savepoint checkpoint
hi，这个参数我理解的作用应该是：作业取消的时候是否清除之前的 checkpoint，但这个 checkpoint 的并不一定是作业最新的状态。而如果你取消命令的时候触发一次 savepoint，那么这次的状态就是最新且最全的。 祝好！ zhisheng Px New <15701181132mr@gmail.com> 于2020年1月10日周五 上午10:58写道： > Hello ,针对于你这个问题 在FLink 中 是有这个配置的. 当程序stop时,会额外保存检查点 > --> > > > env.getCheckpointConfig().enableExternalizedCheckpoints(CheckpointConfig.ExternalizedCheckpointCleanup.RETAIN_ON_CANCELLATION); > > > lucas.wu 于2019年12月11日周三 上午11:56写道： > > > hi 各位： > > > > > 有个问题想和大家讨论一下，就是flink的savepoint为什么要设置成手动的？如果在stop程序的时候没有做savepoint的话，在我重启的时候就不能使用之前保存的一些状态信息。为什么不参考spark的方式，定时做checkpoint，然后启动的时候指定ck地址就可以从上次执行的地方继续执行。 >
Re: flink savepoint checkpoint
Hello ,针对于你这个问题 在FLink 中 是有这个配置的. 当程序stop时,会额外保存检查点 --> env.getCheckpointConfig().enableExternalizedCheckpoints(CheckpointConfig.ExternalizedCheckpointCleanup.RETAIN_ON_CANCELLATION); lucas.wu 于2019年12月11日周三 上午11:56写道： > hi 各位： > > 有个问题想和大家讨论一下，就是flink的savepoint为什么要设置成手动的？如果在stop程序的时候没有做savepoint的话，在我重启的时候就不能使用之前保存的一些状态信息。为什么不参考spark的方式，定时做checkpoint，然后启动的时候指定ck地址就可以从上次执行的地方继续执行。
Re: flink savepoint checkpoint
Flink 也支持从 retained checkpoint 进行恢复，可以参考文档[1] [1] https://ci.apache.org/projects/flink/flink-docs-release-1.9/ops/state/checkpoints.html#resuming-from-a-retained-checkpoint Best, Congxian 陈帅 于2019年12月11日周三 下午9:34写道： > flink 1.9里面支持cancel job with savepoint功能 > > https://ci.apache.org/projects/flink/flink-docs-stable/ops/state/savepoints.html#cancel-job-with-savepoint > checkpoint可能是增量的，但savepoint是全量的。具体区别可以参考 > > https://www.ververica.com/blog/differences-between-savepoints-and-checkpoints-in-flink > > > lucas.wu 于2019年12月11日周三 上午11:56写道： > > > hi 各位： > > > > > 有个问题想和大家讨论一下，就是flink的savepoint为什么要设置成手动的？如果在stop程序的时候没有做savepoint的话，在我重启的时候就不能使用之前保存的一些状态信息。为什么不参考spark的方式，定时做checkpoint，然后启动的时候指定ck地址就可以从上次执行的地方继续执行。 >
Re: flink savepoint checkpoint
flink 1.9里面支持cancel job with savepoint功能 https://ci.apache.org/projects/flink/flink-docs-stable/ops/state/savepoints.html#cancel-job-with-savepoint checkpoint可能是增量的，但savepoint是全量的。具体区别可以参考 https://www.ververica.com/blog/differences-between-savepoints-and-checkpoints-in-flink lucas.wu 于2019年12月11日周三 上午11:56写道： > hi 各位： > > 有个问题想和大家讨论一下，就是flink的savepoint为什么要设置成手动的？如果在stop程序的时候没有做savepoint的话，在我重启的时候就不能使用之前保存的一些状态信息。为什么不参考spark的方式，定时做checkpoint，然后启动的时候指定ck地址就可以从上次执行的地方继续执行。
Re: flink savepoint checkpoint
Hi Checkpoint 是自动的，你可以配置retain checkpoint[1] 然后从checkpoint 恢复[2]，可以不需要一定触发Savepoint。 [1] https://ci.apache.org/projects/flink/flink-docs-stable/ops/state/checkpoints.html#retained-checkpoints [2] https://ci.apache.org/projects/flink/flink-docs-stable/ops/state/checkpoints.html#resuming-from-a-retained-checkpoint 祝好 唐云 On 12/11/19, 11:56 AM, "lucas.wu" wrote: hi 各位： 有个问题想和大家讨论一下，就是flink的savepoint为什么要设置成手动的？如果在stop程序的时候没有做savepoint的话，在我重启的时候就不能使用之前保存的一些状态信息。为什么不参考spark的方式，定时做checkpoint，然后启动的时候指定ck地址就可以从上次执行的地方继续执行。
