你只需要在Flink Client端设置HADOOP_CONF_DIR的环境就可以了 Flink Client会自动把hdfs-site.xml、core-site.xml文件通过创建一个单独ConfigMap，然后挂载给JobManager和TaskManager的 同时这两个配置也会自动加载到classpath下，只需要lib下放了flink-shaded-hadoop，就不需要做其他事情，可以直接访问hdfs的
Best, Yang liujian <13597820...@qq.com> 于2020年12月19日周六 下午8:29写道： > > HDFS是Ha模式,需要指定hdfs-site.xml,这该怎么处理,使用configMap还是将hdfs-site.xml放入到$FLINK_HOME/conf目录下 > > > ------------------ 原始邮件 ------------------ > 发件人: > "user-zh" > < > danrtsey...@gmail.com>; > 发送时间: 2020年12月16日(星期三) 晚上7:21 > 收件人: "superainbower"<superainbo...@163.com>; > 抄送: "user-zh"<user-zh@flink.apache.org>; > 主题: Re: flink-shaded-hadoop-2-uber版本如何选择 > > > > > 如果是在K8s上面访问hdfs，还是需要把flink-shaded-hadoop放到lib目录下，因为目前hadoop的FileSystem并不支持plugin加载 > > Best, > Yang > > superainbower <superainbo...@163.com> 于2020年12月16日周三 下午6:19写道： > > > 借楼请问下，部署到K8S上怎么访问HDFS呢，目前我还是把shaded的jar打到镜像里面去 > > 在2020年12月16日 10:53，Yang Wang <danrtsey...@gmail.com> 写道： > > > > 以flink-shaded-hadoop-2-uber的2.8.3-10.0为例 > > > > 2.8.3指的hadoop的版本，10.0指定的flink-shaded[1]的版本 > > > > > 社区从1.10开始不再推荐使用flink-shaded-hadoop的方式，而且通过设置HADOOP_CLASSPATH环境变量来提交[2]， > > 这样可以让Flink变得hadoop free，从而同时支持hadoop2和hadoop3 > > > > 如果你还坚持使用flink-shaded-hadoop，那就建议使用最新的版本就可以了2.8.3-10.0 > > > > > > [1]. https://github.com/apache/flink-shaded > > [2]. > > > > > https://ci.apache.org/projects/flink/flink-docs-master/deployment/resource-providers/yarn.html#preparation > > > <https://ci.apache.org/projects/flink/flink-docs-master/deployment/resource-providers/yarn.html#preparation>> > ; > > Best, > > Yang > > > > 赢峰 <si_ji_f...@163.com> 于2020年12月11日周五 上午8:45写道： > > > > > flink-shaded-hadoop-2-uber版本如何选择？ > > > > > > > > > xxx-xxx 分别表示什么意思？ > > > > > > > > > > > > >
