您好，我之前做了一些尝试：
1. 测试Spark、MR任务正常
2. 将生产环境的Flink和官网干净的Flink安装后测试example，出现同样的问题
3.
尝试在`/opt/flink-1.13.3/bin/config.sh`中配置`DEFAULT_YARN_CONF_DIR="/opt/hadoop-3.1.4/etc/hadoop/"`，测试example出现同样的问题，说明Flink已经成功加载了`yarn-site.xml`
4.尝试在`/opt/flink-1.13.3/bin/config.sh`中配置`export
HADOOP_CONF_DIR=/opt/hado
hi
根据你发的描述，是Flink的job manager在非RM所在机器上启动时，由于尝试连接0.0.0.0:8030
端口去向YARN申请资源时连接不通，导致失败。你可以检查下集群内worker节点的hadoop配置，看看yarn.resourcemanager.hostname等配置是否设置正确。
Best，
Biao Geng
lishiyuan0506 于2022年7月14日周四 15:17写道：
> 您好，我之前做了一些尝试：
> 1. 测试Spark、MR任务正常
> 2. 将生产环境的Flink和官网干净的Flink安装后测试example，出现同样的问题
> 3.
hello，根据您的思路，我查看了所有的yarn-site.xml，没有发现配置出错的地方，Spark和MR的运行都正常，感觉不是yarn的问题
| |
lishiyuan0506
|
|
lishiyuan0...@163.com
|
Replied Message
| From | Biao Geng |
| Date | 07/14/2022 15:37 |
| To | |
| Subject | Re: Retrying connect to server: 0.0.0.0/0.0.0.0:8030 |
hi
根据你发的描述，是Flink的jo
Hi
可以用 yarn logs -applicationId xxx 看下日志吗？
Best
JasonLee
Replied Message
| From | lishiyuan0506 |
| Date | 07/14/2022 15:43 |
| To | user-zh@flink.apache.org |
| Subject | Re: Retrying connect to server: 0.0.0.0/0.0.0.0:8030 |
hello，根据您的思路，我查看了所有的yarn-site.xml，没有发现配置出错的地方，Spark和MR的运
感谢感谢，可以看的，我添加到附件给您发过去
| |
lishiyuan0506
|
|
lishiyuan0...@163.com
|
Replied Message
| From | JasonLee<17610775...@163.com> |
| Date | 07/14/2022 16:15 |
| To | user-zh@flink.apache.org |
| Subject | Re: Retrying connect to server: 0.0.0.0/0.0.0.0:8030 |
Hi
可以用 yarn logs -application
Hi
这个是直接运行的 examples 里面的 demo 程序吗？
Best
JasonLee
Replied Message
| From | lishiyuan0506 |
| Date | 07/14/2022 16:25 |
| To | user-zh@flink.apache.org |
| Subject | Re: Retrying connect to server: 0.0.0.0/0.0.0.0:8030 |
感谢感谢，可以看的，我添加到附件给您发过去
| |
lishiyuan0506
|
|
lishiyuan0...@163
hi
是的，这个是运行参数
/opt/flink-1.13.3/bin/flink run \
-t yarn-per-job \
-Dyarn.application.name=test_wordcount \
-Dparallelism.default=1 \
-Dtaskmanager.numberOfTaskSlots=1 \
-Djobmanager.memory.process.size=1024mb \
-Dtaskmanager.memory.process.size=2048mb \
/opt/flink-1.13.3/examples/streaming/Word
Hi
仔细看了一下日志，感觉还是 yarn 的配置问题，可以看下 yarn.resourcemanager.scheduler.address 配置的什么吗？在
client 端连接 RM 的时候打印的日志是 2022-07-14 15:10:48,109 INFO
org.apache.hadoop.yarn.client.RMProxy[] - Connecting to
ResourceManager at /0.0.0.0:8030 这里的地址是不对的，正常应该是
yarn.resourcemanager.schedul
您好，感谢回复，这是rm相关配置，rm设的是ha
非常感谢您的回复
Replied Message
| From | JasonLee<17610775...@163.com> |
| Date | 07/14/2022 17:17 |
| To | user-zh@flink.apache.org |
| Subject | Re: Retrying connect to server: 0.0.0.0/0.0.0.0:8030 |
Hi
仔细看了一下日志，感觉还是 yarn 的配置问题，可以看下 yarn.resourcemanager.schedu
您好，这个图片好像发不出去，我添加到附件里
Replied Message
| From | lishiyuan0506 |
| Date | 07/14/2022 17:21 |
| To | user-zh@flink.apache.org |
| Subject | Re: Retrying connect to server: 0.0.0.0/0.0.0.0:8030 |
您好，感谢回复，这是rm相关配置，rm设的是ha
非常感谢您的回复
Replied Message
| From | JasonLee<17610775.
再咨询下关于 flink-k8s-operator 的问题。
我看了看问的文档，提供了2个CRD，分别为 FlinkDeployment 和 FlinkSessionJob。不知道如下理解对不对：
（1）对于 application-mode 方式提交运行的任务，则用 FlinkDeployment，并配置好 job 部分。 会自动创建
flink 集群，并根据 job 配置运行job。
这种方式不需要考虑集群创建、任务提交的步骤，本身就是一体。
（2）对于 session 集群的创建，也是用 FlinkDeployment ，只是不需要指定 job 配置即可。
（3）配合
Hi，ALL：
咨询个问题，对于超过watermark后的数据，还想继续触发窗口操作（类似API的allowedLateness机制），flink
SQL可以实现吗？ 可以话，要如何处理的？
Thanks♪(･ω･)ﾉ
你好，可以看下：https://www.mail-archive.com/issues@flink.apache.org/msg498605.html
的总结。不过这个特性还是实验性的，请谨慎使用。
Best,
Zhanghao Chen
From: Zhizhao Shangguan
Sent: Friday, July 15, 2022 10:44
To: user-zh@flink.apache.org
Subject: Flink SQL 能处理延时丢弃的数据吗？
Hi，ALL：
咨询个问
14 matches
Mail list logo
