Re: Flink 1.10.1 cdh-hdfs启用HA时,flink job提交报错

2020-09-03 文章 Storm☀️
问题找到了; hdfs-site.xml配置文件冲突导致的。 原因:通过-yt上传了 外部集群的hdfs-site.xml文件。 flink10初始化taskmanager读取 hdfs-site.xml配置的时候被外部的hdfs-site.xml文件干扰。 此问题终结。 -- Sent from: http://apache-flink.147419.n8.nabble.com/

Re: Flink 1.10.1 cdh-hdfs启用HA时,flink job提交报错

2020-09-02 文章 Yang Wang
访问HDFS出现UnknownHostException(其实是nameservice,不是真正的host)的原因大多都是因为 没有正确加载hdfs-site.xml的配置,你可以确认一下JM的classpath里面有没有hadoop配置,没有的话 就是因为Yarn没有透传给container,需要在Yarn层面解决 Best, Yang storm 于2020年9月2日周三 下午4:05写道: > > 各位老师好,在HDFS上开启HA的时候,向yarn提交任务的时候,遇到点问题。 > cdh版本:5.15.2 > hdfs版本:2.6.0 >

Flink 1.10.1 cdh-hdfs启用HA时,flink job提交报错

2020-09-02 文章 storm
各位老师好,在HDFS上开启HA的时候,向yarn提交任务的时候,遇到点问题。 cdh版本:5.15.2 hdfs版本:2.6.0 启动模式:flink-on-yarn 配置了HADOOP_CONF_DIR=/etc/hadoop/conf 命令: ./bin/flink run -m yarn-cluster -yt /yarn-conf -p 3 -ytm 2048 -ys 1 -ynm xxx /jars/flink10.jar xxx HDFS不启用HA的时候,能正常提交。 提交任务到yarn的时候,出现如下异常:nameservice2

Flink 1.10.1 cdh-hdfs启用HA时,flink job提交报错

2020-09-02 文章 Storm☀️
各位老师,好。 Flink on yarn 模式提交 hadoop:2.6.0 cdh 5.15.2 HADOOP_CONF_DIR=/etc/hadoop/conf 在cdh上开启hdfs的HA之后提交任务报错,不开启HA能正常提交任务。 启动方式: /bin/flink run -m yarn-cluster -yt /yarn-conf -p 3 -ytm 2048 -ys 1 -ynm xxx /jars/flink10.jar xx 报错信息r如下: 2020-09-02 14:53:08,118 DEBUG