Re: 回复: 请教个Flink checkpoint的问题

2021-01-14 文章 Yun Tang
: Thursday, January 14, 2021 19:00 To: user-zh Subject: 回复: 回复: 请教个Flink checkpoint的问题 好的,感谢您的回复! yinghua...@163.com 发件人: Evan 发送时间: 2021-01-14 18:48 收件人: user-zh 主题: 回复: 回复: 请教个Flink checkpoint的问题 是的,应该是机制问题,链接[1]打开有这样一句解释: If you choose to retain externalized checkpoints on cancellation you

回复: 回复: 请教个Flink checkpoint的问题

2021-01-14 文章 yinghua...@163.com
好的,感谢您的回复! yinghua...@163.com 发件人: Evan 发送时间: 2021-01-14 18:48 收件人: user-zh 主题: 回复: 回复: 请教个Flink checkpoint的问题 是的,应该是机制问题,链接[1]打开有这样一句解释: If you choose to retain externalized checkpoints on cancellation you have to handle checkpoint clean up manually when you cancel the job as well

Re: 回复: 请教个Flink checkpoint的问题

2021-01-14 文章 赵一旦
-retention > > 如回答有误,请指正。 > > > > > > > 发件人: yinghua...@163.com > 发送时间: 2021-01-14 18:02 > 收件人: user-zh > 主题: 回复: 回复: 请教个Flink checkpoint的问题 > 代码如下: > streamEnv.enableCheckpointing(5 * 60 * 1000); > CheckpointConfig checkPointConfig = streamE

回复: 回复: 请教个Flink checkpoint的问题

2021-01-14 文章 Evan
/deployment/config.html#execution-checkpointing-externalized-checkpoint-retention 如回答有误,请指正。 发件人: yinghua...@163.com 发送时间: 2021-01-14 18:02 收件人: user-zh 主题: 回复: 回复: 请教个Flink checkpoint的问题 代码如下: streamEnv.enableCheckpointing(5 * 60 * 1000); CheckpointConfig checkPointConfig

回复: 回复: 请教个Flink checkpoint的问题

2021-01-14 文章 yinghua...@163.com
= this.execOptions.get(CHECKPOINT_PATH); try { StateBackend rocksDBStateBackend = new RocksDBStateBackend(checkpointPath); streamEnv.setStateBackend(rocksDBStateBackend); yinghua...@163.com 发件人: Evan 发送时间: 2021-01-14 17:55 收件人: user-zh 主题: 回复: 请教个Flink checkpoint的问题 代码图挂掉了,看不到代码

回复: 请教个Flink checkpoint的问题

2021-01-14 文章 Evan
代码图挂掉了,看不到代码 发件人: yinghua...@163.com 发送时间: 2021-01-14 17:26 收件人: user-zh 主题: 请教个Flink checkpoint的问题 我在yarn上提交任务时,设置flink的checkpoint是5分钟一次,checkpoint使用RocksDBStateBackend保存在HDFS上且任务取消后不删除checkpoint,代码如下 现在我发现,当我停止任务时使用stopWithSavepoint发现任务停止后把最近一次的checkpoint信息给删除了?目前机制是这样的吗还是我使用有问题?是不是调用cancelW

回复: 请教个Flink checkpoint的问题

2021-01-14 文章 yinghua...@163.com
刚才代码截图没发出去,再贴下代码 streamEnv.enableCheckpointing(5 * 60 * 1000); CheckpointConfig checkPointConfig = streamEnv.getCheckpointConfig(); checkPointConfig.setCheckpointingMode(CheckpointingMode.EXACTLY_ONCE); checkPointConfig.setCheckpointTimeout(1 * 60 * 1000); checkPointConfig.setMinPauseBetweenCheckpo