您好,我之前做了一些尝试:
1. 测试Spark、MR任务正常
2. 将生产环境的Flink和官网干净的Flink安装后测试example,出现同样的问题
3.
尝试在`/opt/flink-1.13.3/bin/config.sh`中配置`DEFAULT_YARN_CONF_DIR="/opt/hadoop-3.1.4/etc/hadoop/"`,测试example出现同样的问题,说明Flink已经成功加载了`yarn-site.xml`
4.尝试在`/opt/flink-1.13.3/bin/config.sh`中配置`export
HADOOP_CONF_DIR=/opt/hado
hi
根据你发的描述,是Flink的job manager在非RM所在机器上启动时,由于尝试连接0.0.0.0:8030
端口去向YARN申请资源时连接不通,导致失败。你可以检查下集群内worker节点的hadoop配置,看看yarn.resourcemanager.hostname等配置是否设置正确。
Best,
Biao Geng
lishiyuan0506 于2022年7月14日周四 15:17写道:
> 您好,我之前做了一些尝试:
> 1. 测试Spark、MR任务正常
> 2. 将生产环境的Flink和官网干净的Flink安装后测试example,出现同样的问题
> 3.
hello,根据您的思路,我查看了所有的yarn-site.xml,没有发现配置出错的地方,Spark和MR的运行都正常,感觉不是yarn的问题
| |
lishiyuan0506
|
|
lishiyuan0...@163.com
|
Replied Message
| From | Biao Geng |
| Date | 07/14/2022 15:37 |
| To | |
| Subject | Re: Retrying connect to server: 0.0.0.0/0.0.0.0:8030 |
hi
根据你发的描述,是Flink的jo
Hi
可以用 yarn logs -applicationId xxx 看下日志吗?
Best
JasonLee
Replied Message
| From | lishiyuan0506 |
| Date | 07/14/2022 15:43 |
| To | user-zh@flink.apache.org |
| Subject | Re: Retrying connect to server: 0.0.0.0/0.0.0.0:8030 |
hello,根据您的思路,我查看了所有的yarn-site.xml,没有发现配置出错的地方,Spark和MR的运
感谢感谢,可以看的,我添加到附件给您发过去
| |
lishiyuan0506
|
|
lishiyuan0...@163.com
|
Replied Message
| From | JasonLee<17610775...@163.com> |
| Date | 07/14/2022 16:15 |
| To | user-zh@flink.apache.org |
| Subject | Re: Retrying connect to server: 0.0.0.0/0.0.0.0:8030 |
Hi
可以用 yarn logs -application
Hi
这个是直接运行的 examples 里面的 demo 程序吗?
Best
JasonLee
Replied Message
| From | lishiyuan0506 |
| Date | 07/14/2022 16:25 |
| To | user-zh@flink.apache.org |
| Subject | Re: Retrying connect to server: 0.0.0.0/0.0.0.0:8030 |
感谢感谢,可以看的,我添加到附件给您发过去
| |
lishiyuan0506
|
|
lishiyuan0...@163
hi
是的,这个是运行参数
/opt/flink-1.13.3/bin/flink run \
-t yarn-per-job \
-Dyarn.application.name=test_wordcount \
-Dparallelism.default=1 \
-Dtaskmanager.numberOfTaskSlots=1 \
-Djobmanager.memory.process.size=1024mb \
-Dtaskmanager.memory.process.size=2048mb \
/opt/flink-1.13.3/examples/streaming/Word
Hi
仔细看了一下日志,感觉还是 yarn 的配置问题,可以看下 yarn.resourcemanager.scheduler.address 配置的什么吗?在
client 端连接 RM 的时候打印的日志是 2022-07-14 15:10:48,109 INFO
org.apache.hadoop.yarn.client.RMProxy[] - Connecting to
ResourceManager at /0.0.0.0:8030 这里的地址是不对的,正常应该是
yarn.resourcemanager.schedul
您好,感谢回复,这是rm相关配置,rm设的是ha
非常感谢您的回复
Replied Message
| From | JasonLee<17610775...@163.com> |
| Date | 07/14/2022 17:17 |
| To | user-zh@flink.apache.org |
| Subject | Re: Retrying connect to server: 0.0.0.0/0.0.0.0:8030 |
Hi
仔细看了一下日志,感觉还是 yarn 的配置问题,可以看下 yarn.resourcemanager.schedu
您好,这个图片好像发不出去,我添加到附件里
Replied Message
| From | lishiyuan0506 |
| Date | 07/14/2022 17:21 |
| To | user-zh@flink.apache.org |
| Subject | Re: Retrying connect to server: 0.0.0.0/0.0.0.0:8030 |
您好,感谢回复,这是rm相关配置,rm设的是ha
非常感谢您的回复
Replied Message
| From | JasonLee<17610775.
再咨询下关于 flink-k8s-operator 的问题。
我看了看问的文档,提供了2个CRD,分别为 FlinkDeployment 和 FlinkSessionJob。不知道如下理解对不对:
(1)对于 application-mode 方式提交运行的任务,则用 FlinkDeployment,并配置好 job 部分。 会自动创建
flink 集群,并根据 job 配置运行job。
这种方式不需要考虑集群创建、任务提交的步骤,本身就是一体。
(2)对于 session 集群的创建,也是用 FlinkDeployment ,只是不需要指定 job 配置即可。
(3)配合
Hi,ALL:
咨询个问题,对于超过watermark后的数据,还想继续触发窗口操作(类似API的allowedLateness机制),flink
SQL可以实现吗? 可以话,要如何处理的?
Thanks♪(・ω・)ノ
你好,可以看下:https://www.mail-archive.com/issues@flink.apache.org/msg498605.html
的总结。不过这个特性还是实验性的,请谨慎使用。
Best,
Zhanghao Chen
From: Zhizhao Shangguan
Sent: Friday, July 15, 2022 10:44
To: user-zh@flink.apache.org
Subject: Flink SQL 能处理延时丢弃的数据吗?
Hi,ALL:
咨询个问
14 matches
Mail list logo