关于flink on yarn 跨多hdfs集群访问的问题

2021-11-29 文章 chenqizhu
all,您好: flink 1.13 版本支持了在flink-conf.yaml通过flink.hadoop.* 的方式 配置hadoop属性。有个需求是将checkpoint写到装有ssd的hdfs(称之为集群B)以加速checkpoint写入速度,但这个hdfs集群不是flink客户端本地的默认hdfs(默认hdfs称为集群A),于是想通过在flink-conf.yaml里配置A、B两个集群的nameservices,类似与hdfs联邦模式,访问到两个hdfs集群,具体配置如下: flink.hadoop.dfs.nameservices:

关于flink on yarn 跨多hdfs集群访问的问题

2021-11-29 文章 chenqizhu
all,您好: flink 1.13 版本支持了在flink-conf.yaml通过flink.hadoop.* 的方式 配置hadoop属性。有个需求是将checkpoint写到装有ssd的hdfs(称之为集群B)以加速checkpoint写入速度,但这个hdfs集群不是flink客户端本地的默认hdfs(默认hdfs称为集群A),于是想通过在flink-conf.yaml里配置A、B两个集群的nameservices,类似与hdfs联邦模式,访问到两个hdfs集群,具体配置如下: flink.hadoop.dfs.nameservices: