hi 根据你发的描述,是Flink的job manager在非RM所在机器上启动时,由于尝试连接0.0.0.0:8030 端口去向YARN申请资源时连接不通,导致失败。你可以检查下集群内worker节点的hadoop配置,看看yarn.resourcemanager.hostname等配置是否设置正确。
Best, Biao Geng lishiyuan0506 <lishiyuan0...@163.com> 于2022年7月14日周四 15:17写道: > 您好,我之前做了一些尝试: > 1. 测试Spark、MR任务正常 > 2. 将生产环境的Flink和官网干净的Flink安装后测试example,出现同样的问题 > 3. > 尝试在`/opt/flink-1.13.3/bin/config.sh`中配置`DEFAULT_YARN_CONF_DIR="/opt/hadoop-3.1.4/etc/hadoop/"`,测试example出现同样的问题,说明Flink已经成功加载了`yarn-site.xml` > 4.尝试在`/opt/flink-1.13.3/bin/config.sh`中配置`export > HADOOP_CONF_DIR=/opt/hadoop-3.1.4/etc/hadoop`,`export > HADOOP_CLASSPATH=`hadoop classpath`测试example出现同样的问题 > > > 目前无论是yarn还是flink都找不出来出现了什么问题,手足无措了 > | | > lishiyuan0506 > | > | > lishiyuan0...@163.com > | > > > ---- Replied Message ---- > | From | Biao Geng<biaoge...@gmail.com> | > | Date | 07/14/2022 14:31 | > | To | <user-zh@flink.apache.org> | > | Subject | Re: Retrying connect to server: 0.0.0.0/0.0.0.0:8030 | > hi, > > 你提到跑wordcount.jar时,当作业被调度到RM所在的机器上可以正常运行,调度到非RM所在的机器上就失败。flink环境干净的话,那大概率还是hadoop的环境设置有问题。 > 有几个可以检查的地方: > 1. 运行flink run之前或者在flink的bin/config.sh里是否有正确设置hadoop环境变量,例如 export > HADOOP_CLASSPATH=`hadoop classpath` > 2. > > 集群内机器(比如非RM所在机器)的HADOOP_CONF_DIR是否设置正确,其指向的目录里的yarn-site.xml的yarn.resourcemanager.hostname等配置是否设置正确 > > Best, > Biao Geng > > Biao Geng <biaoge...@gmail.com> 于2022年7月14日周四 11:32写道: > > hi, > 你有试过提交flink > > example(比如wordcount作业)吗?如果报了一样的错误的话,可以检查一下你的flink/lib目录下是否有放多余的YARN配置(比如运行grep > -irn "0.0.0.0" $FLINK_HOME);如果example可以成功提交,可以看看是不是你的作业jar里打进了错误的YARN配置。 > > Best, > Biao Geng > > lishiyuan0506 <lishiyuan0...@163.com> 于2022年7月14日周四 11:06写道: > > 您好,环境变量里面有,而且flink的conf.sh也设置了 > > > lishiyuan0506 > lishiyuan0...@163.com > > < > https://maas.mail.163.com/dashi-web-extend/html/proSignature.html?ftlId=1&name=lishiyuan0506&uid=lishiyuan0506%40163.com&iconUrl=https%3A%2F%2Fmail-online.nosdn.127.net%2Fqiyelogo%2FdefaultAvatar.png&items=%5B%22lishiyuan0506%40163.com%22%5D > > > > ---- Replied Message ---- > From Yang Wang<danrtsey...@gmail.com> <danrtsey...@gmail.com> > Date 07/14/2022 11:00 > To user-zh<user-zh@flink.apache.org> <user-zh@flink.apache.org> > Subject Re: Retrying connect to server: 0.0.0.0/0.0.0.0:8030 > 确认一下你是否正确设置了HADOOP_CONF_DIR环境变量 > > Best, > Yang > > lishiyuan0506 <lishiyuan0...@163.com> 于2022年7月14日周四 09:41写道: > > 打扰大家一下,请问一下各位在yarn提交flink的时候,有没有遇到过Retrying connect to server: > 0.0.0.0/0.0.0.0:8030这个异常 > > > hadoop的classpath没问题,Spark和MR在Yarn上跑也没问题,就flink有这样的问题 > > > | | > lishiyuan0506 > | > | > lishiyuan0...@163.com > | > > > >