我找到问题了,我觉得我发现了一个bug,很严重,会导致flink持续占资源,一直增加
在2020年07月22日 14:08,酷酷的浑蛋 写道:
这是我的启动命令:./bin/flink run -m yarn-cluster -p 2 -ys 2 -yqu rt_constant -c
com.xx.Main -yjm 1024 -ynm RTC_TEST xx.jar
任务到yarn上后就一直在占用core,core数量和内存数量一直在增加
在2020年07月22日 12:48,JasonLee<17610775...@163.com> 写道:
HI
你使用的什么模式?启
看一下yarn-containers-vcores这个参数:
https://ci.apache.org/projects/flink/flink-docs-release-1.11/zh/ops/config.html#yarn-containers-vcores
结合自己的集群,适当调低这个参数
chengyanan1...@foxmail.com
发件人: JasonLee
发送时间: 2020-07-22 12:58
收件人: user-zh
主题: 回复:flink1.11启动问题
Hi
报错显示的是资源不足了 你确定yarn上的资源是够的吗 看下是不是节点挂了
这是我的启动命令:./bin/flink run -m yarn-cluster -p 2 -ys 2 -yqu rt_constant -c
com.xx.Main -yjm 1024 -ynm RTC_TEST xx.jar
任务到yarn上后就一直在占用core,core数量和内存数量一直在增加
在2020年07月22日 12:48,JasonLee<17610775...@163.com> 写道:
HI
你使用的什么模式?启动任务的命令发出来看一下吧
| |
JasonLee
|
|
邮箱:17610775...@163.com
|
Signature is cust
Hi
报错显示的是资源不足了 你确定yarn上的资源是够的吗 看下是不是节点挂了 1.11我这边提交任务都是正常的
| |
JasonLee
|
|
邮箱:17610775...@163.com
|
Signature is customized by Netease Mail Master
在2020年07月21日 16:36,酷酷的浑蛋 写道:
服了啊,这个flink1.11启动怎么净是问题啊
我1.7,1.8,1.9 都没有问题,到11就不行
./bin/flink run -m yarn-cluster -yqu root.rt_constant -ys 2 -yjm
HI
你使用的什么模式?启动任务的命令发出来看一下吧
| |
JasonLee
|
|
邮箱:17610775...@163.com
|
Signature is customized by Netease Mail Master
在2020年07月22日 12:44,酷酷的浑蛋 写道:
现在是为什么啊?启动任务自动占用所有core?core数量一直在增加,直到达到队列最大值,然后就卡住了,这flink1.11啥情况啊?
jm里面没有日志啊,关键是配置都是一样的,我在1.9里运行就没问题,在flink1.11就一直卡在那里,不分配资源,到底启动方式改变了啥呢?
集群资源是有的,可是任务一直卡在那说没资源,这怎么办
在2020年07月21日 17:22,Shuiqiang Chen 写道:
Hi,
可以尝试在jm的log里看看是在申请哪个资源的时候超时了, 对比下所申请的资源规格和集群可用资源
Best,
Shuiqiang
酷酷的浑蛋 于2020年7月21日周二 下午4:37写道:
服了啊,这个flink1.11启动怎么净是问题啊
我1.7,1.8,1.9 都没有问题,到11就不行
1. flink1.11解压后,启动会报:
java.lang.NoClassDefFoundError: com/sun/jersey/core/util/FeaturesAndProperties
然后将jersey-client-1.9.jar、jersey-core-1.9.jar复制到lib下
2. 再次启动,报错:
Caused by: java.lang.ClassNotFoundException: javax.ws.rs.ext.MessageBodyReader
然后将javax.ws.rs-api-2.1.1.jar复制到lib下
3. 再次启动,报错:
Caused