还有一个问题,我已经有一个job在运行了,当我再次提交一个job运行的时候输出下面这些信息,去yarn查看发现job并未启动起来,有遇到过这个现象吗?
[root@cdh1 flink-1.12.0]# ./bin/flink run -d -t yarn-per-job -D
jobmanager.memory.process.size=1.5GB -D taskmanager.memory.process.size=3GB -D
heartbeat.timeout=180
是我本地服务器的路径,需要在三个节点上都上传这个jar包吗?
放在 /opt/flink-1.12.0/examples目录下了
| |
刘海
|
|
liuha...@163.com
|
签名由网易邮箱大师定制
在2021年1月18日 10:38,Yangze Guo 写道:
请问这个路径是你本地的路径么?需要client端能根据这个路径找到jar包
Best,
Yangze Guo
On Mon, Jan 18, 2021 at 10:34 AM 刘海 wrote:
你好
根据你的建议我试了一下
将提交命令改为: ./bin/flink run -d -t
你好
根据你的建议我试了一下
将提交命令改为: ./bin/flink run -d -t yarn-per-job -tm 1536 -jm 3072 -D
jobmanager.memory.process.size=1.5GB -D taskmanager.memory.process.size=3GB -D
heartbeat.timeout=180
/opt/flink-1.12.0/examples/myProject/bi-wxfx-fqd-1.0.1.jar
jar包我使用了一个绝对路径:
| |
刘海
|
|
liuha...@163.com
|
签名由网易邮箱大师定制
在2021年1月18日 09:15,刘海 写道:
Hi Dear All,
请教各位一个问题,下面是我的集群配置:
1、我现在使用的是flink1.12版本;
2、基于CDH6.3.2搭建的hadoop三个节点的集群,使用CDH自带的yarn集群;
3、flink运行模式:Per-Job Cluster on yarn(三个节点,没每个节点48核64G内存);
4、以下是我三个节点的 flink-conf.yaml