问题找到了;
hdfs-site.xml配置文件冲突导致的。
原因:通过-yt上传了 外部集群的hdfs-site.xml文件。
flink10初始化taskmanager读取 hdfs-site.xml配置的时候被外部的hdfs-site.xml文件干扰。
此问题终结。
--
Sent from: http://apache-flink.147419.n8.nabble.com/
访问HDFS出现UnknownHostException(其实是nameservice,不是真正的host)的原因大多都是因为
没有正确加载hdfs-site.xml的配置,你可以确认一下JM的classpath里面有没有hadoop配置,没有的话
就是因为Yarn没有透传给container,需要在Yarn层面解决
Best,
Yang
storm 于2020年9月2日周三 下午4:05写道:
>
> 各位老师好,在HDFS上开启HA的时候,向yarn提交任务的时候,遇到点问题。
> cdh版本:5.15.2
> hdfs版本:2.6.0
>
各位老师好,在HDFS上开启HA的时候,向yarn提交任务的时候,遇到点问题。
cdh版本:5.15.2
hdfs版本:2.6.0
启动模式:flink-on-yarn
配置了HADOOP_CONF_DIR=/etc/hadoop/conf
命令:
./bin/flink run -m yarn-cluster -yt /yarn-conf -p 3 -ytm 2048 -ys 1 -ynm xxx
/jars/flink10.jar xxx
HDFS不启用HA的时候,能正常提交。
提交任务到yarn的时候,出现如下异常:nameservice2
各位老师,好。
Flink on yarn 模式提交
hadoop:2.6.0
cdh 5.15.2
HADOOP_CONF_DIR=/etc/hadoop/conf
在cdh上开启hdfs的HA之后提交任务报错,不开启HA能正常提交任务。
启动方式:
/bin/flink run -m yarn-cluster -yt /yarn-conf -p 3 -ytm 2048 -ys 1 -ynm xxx
/jars/flink10.jar xx
报错信息r如下:
2020-09-02 14:53:08,118 DEBUG