多谢 zhisheng , 用你的方法解决了。
做完整的savepoint的时候， hdfs 地址 用hdfs://ip:port/ 的方式访问新集群的hdfs。不用nameservice 的方式
zhisheng 于2020年4月16日周四 下午4:37写道：
> > 如果我把任务迁移到另外一个集群，如何让它从老的集群的checkpoint 恢复
>
> 这种是不是可以先在旧集群对作业取消的时候做一次完整的 savepoint（地址填新集群的 HDFS 地址），然后在新集群的时候从 savepoint
> 启动
>
> Yangze Guo 于2020年4月15日周三 下午3:52
了。
还是有什么场景我没有测试到？
原始邮件
发件人: Yun Tang
收件人: user-zh
发送时间: 2020年4月16日(周四) 17:13
主题: Re: 请问有没有什么方法可以把checkpoint打到集群外的hdfs?
Hi 如果旧作业开启了incremental
checkpoint，并从那边进行恢复的话，需要注意的是旧的checkpoint目录下的文件是不能删除的，这个是incremental
checkpoint语义导致的，如果想要切割掉对旧目录的依赖，需要执行一次savepoint，并启动新作业从savepoint进行恢复。 祝好 唐云
Hi
如果旧作业开启了incremental
checkpoint，并从那边进行恢复的话，需要注意的是旧的checkpoint目录下的文件是不能删除的，这个是incremental
checkpoint语义导致的，如果想要切割掉对旧目录的依赖，需要执行一次savepoint，并启动新作业从savepoint进行恢复。
祝好
唐云
From: zhisheng
Sent: Thursday, April 16, 2020 16:37
To: user-zh
Subject: Re: 请问有没有什么方法可以把
> 如果我把任务迁移到另外一个集群，如何让它从老的集群的checkpoint 恢复
这种是不是可以先在旧集群对作业取消的时候做一次完整的 savepoint（地址填新集群的 HDFS 地址），然后在新集群的时候从 savepoint
启动
Yangze Guo 于2020年4月15日周三 下午3:52写道：
> 1. flink会去读YARN_CONF_DIR or HADOOP_CONF_DIR这两个环境变量
> 2. 我理解这和你flink运行的集群是解耦的，只要你dir的路径不变，就会从那个dir找checkpoint恢复
>
> Best,
> Yangze Guo
>
>
多谢两位 Yangze and LakeShen，我研究一下。
Yangze Guo 于2020年4月15日周三 下午3:45写道：
> 1. flink会去读YARN_CONF_DIR or HADOOP_CONF_DIR这两个环境变量
> 2. 我理解这和你flink运行的集群是解耦的，只要你dir的路径不变，就会从那个dir找checkpoint恢复
>
> Best,
> Yangze Guo
>
> On Wed, Apr 15, 2020 at 3:38 PM tao wang wrote:
> >
> > 多谢回复， 还有几个问题请教：
> > 1、外部集群的hdfs
1. flink会去读YARN_CONF_DIR or HADOOP_CONF_DIR这两个环境变量
2. 我理解这和你flink运行的集群是解耦的，只要你dir的路径不变，就会从那个dir找checkpoint恢复
Best,
Yangze Guo
On Wed, Apr 15, 2020 at 3:38 PM tao wang wrote:
>
> 多谢回复， 还有几个问题请教：
> 1、外部集群的hdfs-site, core-site 这些怎么配置？
> 2、另外一个角度， 如果我把任务迁移到另外一个集群，如何让它从老的集群的checkpoint 恢复。
>
> Yangze
Hi tao wang,
你可以在你的 flink-conf.yaml 里面配置 Checkpoint 的目录,就像楼上 Yangze 所说
state.checkpoints.dir: hdfs://namenode:port/flink/checkpoints/
Best,
LakeShen
Yangze Guo 于2020年4月15日周三 下午2:44写道：
> checkpoint的目录设置key为state.checkpoints.dir
>
> 你可以这样设置
> state.checkpoints.dir: hdfs://namenode:port/flink/ch
checkpoint的目录设置key为state.checkpoints.dir
你可以这样设置
state.checkpoints.dir: hdfs://namenode:port/flink/checkpoints/
Best,
Yangze Guo
On Wed, Apr 15, 2020 at 1:45 PM tao wang wrote:
>
> 现在有个场景， 集群上上了一些比较重要的任务，为了提高这些任务的性能，为它提供了一个专有的hdfs 集群用来存储checkpoint 。
>
> 但是现在不知道怎么配置才能让支持任务打到外部的hdfs集群。
>
> 谢谢！！
