回复：flink1.9状态及作业迁移
退订 | | chq19970719 | | 邮箱：chq19970...@163.com | Signature is customized by Netease Mail Master 在2020年07月14日 12:15，Yun Tang 写道： 对于Flink本身机制不支持的场景，可以通过直接修改Checkpoint meta 文件同时将meta以及data文件迁移到新HDFS集群也能做到，加载Checkpoint的具体代码可以参照Checkpoints#loadAndValidateCheckpoint [1]，而存储Checkpoint的代码可以参照Checkpoints#storeCheckpointMetadata [2] [1] https://github.com/apache/flink/blob/5125b1123dfcfff73b5070401dfccb162959080c/flink-runtime/src/main/java/org/apache/flink/runtime/checkpoint/Checkpoints.java#L124 [2] https://github.com/apache/flink/blob/5125b1123dfcfff73b5070401dfccb162959080c/flink-runtime/src/main/java/org/apache/flink/runtime/checkpoint/Checkpoints.java#L81 祝好 唐云 From: Dream-底限 Sent: Tuesday, July 14, 2020 11:57 To: user-zh@flink.apache.org Subject: Re: flink1.9状态及作业迁移 hi、 请问对于下面的情况，Checkpoint meta中存储的hdfs namespace可以修改吗 》》Checkpoint meta中存储的是完整路径，所以一般会把hdfs的namespace存储起来，导致没办法直接迁移。 Yun Tang 于2020年7月14日周二 上午11:54写道： > Checkpoint meta中存储的是完整路径，所以一般会把hdfs的namespace存储起来，导致没办法直接迁移。 > > Flink-1.11 支持将savepoint（但是不支持Checkpoint）进行位置迁移 [1]，而对于Flink-1.9，二者均不支持。 > > > [1] https://issues.apache.org/jira/browse/FLINK-5763 > > 祝好 > 唐云 > > > From: Dream-底限 > Sent: Tuesday, July 14, 2020 11:07 > To: user-zh@flink.apache.org > Subject: flink1.9状态及作业迁移 > > hi： > > flink1.9的检查点或保存点中会保留hadoop集群的nameservice数据吗？现在想将一个集群的flink作业迁移到另一个集群，但两个集群的nameservice名称不一样，迁移会有问题吗？如果有问题的话对应状态保存的nameservice可以修改吗？或者说迁移的时候还有哪些其他需要注意的问题？ >
Re: flink1.9状态及作业迁移
对于Flink本身机制不支持的场景，可以通过直接修改Checkpoint meta 文件同时将meta以及data文件迁移到新HDFS集群也能做到，加载Checkpoint的具体代码可以参照Checkpoints#loadAndValidateCheckpoint [1]，而存储Checkpoint的代码可以参照Checkpoints#storeCheckpointMetadata [2] [1] https://github.com/apache/flink/blob/5125b1123dfcfff73b5070401dfccb162959080c/flink-runtime/src/main/java/org/apache/flink/runtime/checkpoint/Checkpoints.java#L124 [2] https://github.com/apache/flink/blob/5125b1123dfcfff73b5070401dfccb162959080c/flink-runtime/src/main/java/org/apache/flink/runtime/checkpoint/Checkpoints.java#L81 祝好 唐云 From: Dream-底限 Sent: Tuesday, July 14, 2020 11:57 To: user-zh@flink.apache.org Subject: Re: flink1.9状态及作业迁移 hi、 请问对于下面的情况，Checkpoint meta中存储的hdfs namespace可以修改吗 》》Checkpoint meta中存储的是完整路径，所以一般会把hdfs的namespace存储起来，导致没办法直接迁移。 Yun Tang 于2020年7月14日周二 上午11:54写道： > Checkpoint meta中存储的是完整路径，所以一般会把hdfs的namespace存储起来，导致没办法直接迁移。 > > Flink-1.11 支持将savepoint（但是不支持Checkpoint）进行位置迁移 [1]，而对于Flink-1.9，二者均不支持。 > > > [1] https://issues.apache.org/jira/browse/FLINK-5763 > > 祝好 > 唐云 > > > From: Dream-底限 > Sent: Tuesday, July 14, 2020 11:07 > To: user-zh@flink.apache.org > Subject: flink1.9状态及作业迁移 > > hi： > > flink1.9的检查点或保存点中会保留hadoop集群的nameservice数据吗？现在想将一个集群的flink作业迁移到另一个集群，但两个集群的nameservice名称不一样，迁移会有问题吗？如果有问题的话对应状态保存的nameservice可以修改吗？或者说迁移的时候还有哪些其他需要注意的问题？ >
Re: flink1.9状态及作业迁移
hi、 请问对于下面的情况，Checkpoint meta中存储的hdfs namespace可以修改吗 》》Checkpoint meta中存储的是完整路径，所以一般会把hdfs的namespace存储起来，导致没办法直接迁移。 Yun Tang 于2020年7月14日周二 上午11:54写道： > Checkpoint meta中存储的是完整路径，所以一般会把hdfs的namespace存储起来，导致没办法直接迁移。 > > Flink-1.11 支持将savepoint（但是不支持Checkpoint）进行位置迁移 [1]，而对于Flink-1.9，二者均不支持。 > > > [1] https://issues.apache.org/jira/browse/FLINK-5763 > > 祝好 > 唐云 > > > From: Dream-底限 > Sent: Tuesday, July 14, 2020 11:07 > To: user-zh@flink.apache.org > Subject: flink1.9状态及作业迁移 > > hi： > > flink1.9的检查点或保存点中会保留hadoop集群的nameservice数据吗？现在想将一个集群的flink作业迁移到另一个集群，但两个集群的nameservice名称不一样，迁移会有问题吗？如果有问题的话对应状态保存的nameservice可以修改吗？或者说迁移的时候还有哪些其他需要注意的问题？ >
Re: flink1.9状态及作业迁移
Checkpoint meta中存储的是完整路径，所以一般会把hdfs的namespace存储起来，导致没办法直接迁移。 Flink-1.11 支持将savepoint（但是不支持Checkpoint）进行位置迁移 [1]，而对于Flink-1.9，二者均不支持。 [1] https://issues.apache.org/jira/browse/FLINK-5763 祝好 唐云 From: Dream-底限 Sent: Tuesday, July 14, 2020 11:07 To: user-zh@flink.apache.org Subject: flink1.9状态及作业迁移 hi： flink1.9的检查点或保存点中会保留hadoop集群的nameservice数据吗？现在想将一个集群的flink作业迁移到另一个集群，但两个集群的nameservice名称不一样，迁移会有问题吗？如果有问题的话对应状态保存的nameservice可以修改吗？或者说迁移的时候还有哪些其他需要注意的问题？
flink1.9状态及作业迁移
hi： flink1.9的检查点或保存点中会保留hadoop集群的nameservice数据吗？现在想将一个集群的flink作业迁移到另一个集群，但两个集群的nameservice名称不一样，迁移会有问题吗？如果有问题的话对应状态保存的nameservice可以修改吗？或者说迁移的时候还有哪些其他需要注意的问题？
