yarn-session多job的模式下是动态申请资源吗

2020-06-04 文章
你好。我目前用的是flink-1.7.2版本,使用的是yarn-session多job的模式。启动yarn-session之后,在flink ui上并没有看到申请配置的资源,而是提交flink job的时候才申请的container。当提交多个job时,yarn-session会按照job需要的slot数量动态申请资源。 比如,启动yarn-session的配置为: ./bin/yarn-session.sh -tm 8192 -s 2 �Cn 4 提交一个job需要的资源是 8个slot,那么yarn-session会申请4个taskmanager来运行该job。 再提交一

Re: flink 1.9.1 guava version conflict

2019-11-18 文章
补充 我是下载了源码之后,自己编译了flink cep相关的jar然后引入进来。看pom文件flink-shaded-guava是flink-core引入的。 > 2019年11月19日 下午2:20,孙森 写道: > > 我在项目中使用flink release-1.9.1,一直出现Caused by: java.lang.NumberFormatException: > Not a version: 9 > java -version > java version "1.8.0_111" > Java(TM

flink 1.9.1 guava version conflict

2019-11-18 文章
我在项目中使用flink release-1.9.1,一直出现Caused by: java.lang.NumberFormatException: Not a version: 9 java -version java version "1.8.0_111" Java(TM) SE Runtime Environment (build 1.8.0_111-b14) Java HotSpot(TM) 64-Bit Server VM (build 25.111-b14, mixed mode) scala 2.11 maven 3.6.1 具体的错误信息如下: Exception

Re: flink ha hdfs目录权限问题

2019-04-01 文章
drwxrwxrwx - hdfs hdfs 0 2019-04-01 15:13 /flink/ha/f6329551-56fb-4c52-a028-51fd838c4af6 > 在 2019年4月1日,下午4:02,Yun Tang 写道: > > Hi 孙森, > > 将提交用户root加到hadoop的hdfs用户组内,或者使用hadoop的hdfs用户提交程序[1],或者修改整个目录HDFS:///flink/ha的权限[2] > 放开到任意用户应该可以解决问题,记得加上 -R ,保证对子目录都生效。 &g

flink ha hdfs目录权限问题

2019-04-01 文章
Hi all : 我使用flink on yarn 模式启动flink,并且配置了高可用。当向flink cluster提交job时,会出现permission denied的异常。原因是HDFS:///flink/ha下创建的文件夹的权限都是755,没有写权限。所以每启动一个新的flink cluster的时候,就会生成一个新的目录 ,比如:/flink/ha/application_1553766783203_0026。需要修改/flink/ha/application_1553766783203_0026的权限才能成功提交job。请问这个问题应该怎么解决呢?

Re: jobmanager重启之后,job没有重启

2019-03-04 文章
如图看到Attempt ID由01变为02,进程也有所变化,,说明HA切换成功了。 > > 希望这些内容帮助到你。 > > Best, > > 韩非 > > > > -- > 发件人:孙森 > 发送时间:2019年3月4日(星期一) 18:41 > 收件人:user-zh > 主 题:jobmanager重启之后,job没有重启 > > 大家好: &

Re: jobmanager重启之后,job没有重启

2019-03-04 文章
如图看到Attempt ID由01变为02,进程也有所变化,,说明HA切换成功了。 > > 希望这些内容帮助到你。 > > Best, > > 韩非 > > > > -- > 发件人:孙森 > 发送时间:2019年3月4日(星期一) 18:41 > 收件人:user-zh > 主 题:jobmanager重启之后,job没有重启 > > 大家好: &

jobmanager重启之后,job没有重启

2019-03-04 文章
大家好: 有配置过flink ha吗?我配置了yarn高可用之后,kill掉job manager 之后,jobmanager可以成功重启,但是yarn session上正在运行的job并没有重启。我程序是开启了checkpoint的。有谁遇到过吗?是我配置的问题还是什么原因? 附上高可用配置: high-availability.storageDir: hdfs:///flink/ha/ high-availability.zookeeper.quorum: h1:2181,h2:2181,h3:2181 high-availability.zookeeper.