hi
根据你发的描述,是Flink的job manager在非RM所在机器上启动时,由于尝试连接0.0.0.0:8030
端口去向YARN申请资源时连接不通,导致失败。你可以检查下集群内worker节点的hadoop配置,看看yarn.resourcemanager.hostname等配置是否设置正确。

Best,
Biao Geng

lishiyuan0506 <lishiyuan0...@163.com> 于2022年7月14日周四 15:17写道:

> 您好,我之前做了一些尝试:
> 1. 测试Spark、MR任务正常
> 2. 将生产环境的Flink和官网干净的Flink安装后测试example,出现同样的问题
> 3.
> 尝试在`/opt/flink-1.13.3/bin/config.sh`中配置`DEFAULT_YARN_CONF_DIR="/opt/hadoop-3.1.4/etc/hadoop/"`,测试example出现同样的问题,说明Flink已经成功加载了`yarn-site.xml`
> 4.尝试在`/opt/flink-1.13.3/bin/config.sh`中配置`export
> HADOOP_CONF_DIR=/opt/hadoop-3.1.4/etc/hadoop`,`export
> HADOOP_CLASSPATH=`hadoop classpath`测试example出现同样的问题
>
>
> 目前无论是yarn还是flink都找不出来出现了什么问题,手足无措了
> | |
> lishiyuan0506
> |
> |
> lishiyuan0...@163.com
> |
>
>
> ---- Replied Message ----
> | From | Biao Geng<biaoge...@gmail.com> |
> | Date | 07/14/2022 14:31 |
> | To | <user-zh@flink.apache.org> |
> | Subject | Re: Retrying connect to server: 0.0.0.0/0.0.0.0:8030 |
> hi,
>
> 你提到跑wordcount.jar时,当作业被调度到RM所在的机器上可以正常运行,调度到非RM所在的机器上就失败。flink环境干净的话,那大概率还是hadoop的环境设置有问题。
> 有几个可以检查的地方:
> 1. 运行flink run之前或者在flink的bin/config.sh里是否有正确设置hadoop环境变量,例如 export
> HADOOP_CLASSPATH=`hadoop classpath`
> 2.
>
> 集群内机器(比如非RM所在机器)的HADOOP_CONF_DIR是否设置正确,其指向的目录里的yarn-site.xml的yarn.resourcemanager.hostname等配置是否设置正确
>
> Best,
> Biao Geng
>
> Biao Geng <biaoge...@gmail.com> 于2022年7月14日周四 11:32写道:
>
> hi,
> 你有试过提交flink
>
> example(比如wordcount作业)吗?如果报了一样的错误的话,可以检查一下你的flink/lib目录下是否有放多余的YARN配置(比如运行grep
> -irn "0.0.0.0" $FLINK_HOME);如果example可以成功提交,可以看看是不是你的作业jar里打进了错误的YARN配置。
>
> Best,
> Biao Geng
>
> lishiyuan0506 <lishiyuan0...@163.com> 于2022年7月14日周四 11:06写道:
>
> 您好,环境变量里面有,而且flink的conf.sh也设置了
>
>
> lishiyuan0506
> lishiyuan0...@163.com
>
> <
> https://maas.mail.163.com/dashi-web-extend/html/proSignature.html?ftlId=1&name=lishiyuan0506&uid=lishiyuan0506%40163.com&iconUrl=https%3A%2F%2Fmail-online.nosdn.127.net%2Fqiyelogo%2FdefaultAvatar.png&items=%5B%22lishiyuan0506%40163.com%22%5D
> >
>
> ---- Replied Message ----
> From Yang Wang<danrtsey...@gmail.com> <danrtsey...@gmail.com>
> Date 07/14/2022 11:00
> To user-zh<user-zh@flink.apache.org> <user-zh@flink.apache.org>
> Subject Re: Retrying connect to server: 0.0.0.0/0.0.0.0:8030
> 确认一下你是否正确设置了HADOOP_CONF_DIR环境变量
>
> Best,
> Yang
>
> lishiyuan0506 <lishiyuan0...@163.com> 于2022年7月14日周四 09:41写道:
>
> 打扰大家一下,请问一下各位在yarn提交flink的时候,有没有遇到过Retrying connect to server:
> 0.0.0.0/0.0.0.0:8030这个异常
>
>
> hadoop的classpath没问题,Spark和MR在Yarn上跑也没问题,就flink有这样的问题
>
>
> | |
> lishiyuan0506
> |
> |
> lishiyuan0...@163.com
> |
>
>
>
>

回复