你好。我目前用的是flink-1.7.2版本,使用的是yarn-session多job的模式。启动yarn-session之后,在flink
ui上并没有看到申请配置的资源,而是提交flink
job的时候才申请的container。当提交多个job时,yarn-session会按照job需要的slot数量动态申请资源。
比如,启动yarn-session的配置为:
./bin/yarn-session.sh -tm 8192 -s 2 �Cn 4
提交一个job需要的资源是 8个slot,那么yarn-session会申请4个taskmanager来运行该job。
再提交一
补充
我是下载了源码之后,自己编译了flink cep相关的jar然后引入进来。看pom文件flink-shaded-guava是flink-core引入的。
> 2019年11月19日 下午2:20,孙森 写道:
>
> 我在项目中使用flink release-1.9.1,一直出现Caused by: java.lang.NumberFormatException:
> Not a version: 9
> java -version
> java version "1.8.0_111"
> Java(TM
我在项目中使用flink release-1.9.1,一直出现Caused by: java.lang.NumberFormatException: Not
a version: 9
java -version
java version "1.8.0_111"
Java(TM) SE Runtime Environment (build 1.8.0_111-b14)
Java HotSpot(TM) 64-Bit Server VM (build 25.111-b14, mixed mode)
scala 2.11
maven 3.6.1
具体的错误信息如下:
Exception
drwxrwxrwx - hdfs hdfs 0 2019-04-01 15:13
/flink/ha/f6329551-56fb-4c52-a028-51fd838c4af6
> 在 2019年4月1日,下午4:02,Yun Tang 写道:
>
> Hi 孙森,
>
> 将提交用户root加到hadoop的hdfs用户组内,或者使用hadoop的hdfs用户提交程序[1],或者修改整个目录HDFS:///flink/ha的权限[2]
> 放开到任意用户应该可以解决问题,记得加上 -R ,保证对子目录都生效。
&g
Hi all :
我使用flink on yarn 模式启动flink,并且配置了高可用。当向flink
cluster提交job时,会出现permission
denied的异常。原因是HDFS:///flink/ha下创建的文件夹的权限都是755,没有写权限。所以每启动一个新的flink
cluster的时候,就会生成一个新的目录
,比如:/flink/ha/application_1553766783203_0026。需要修改/flink/ha/application_1553766783203_0026的权限才能成功提交job。请问这个问题应该怎么解决呢?
如图看到Attempt ID由01变为02,进程也有所变化,,说明HA切换成功了。
>
> 希望这些内容帮助到你。
>
> Best,
>
> 韩非
>
>
>
> --
> 发件人:孙森
> 发送时间:2019年3月4日(星期一) 18:41
> 收件人:user-zh
> 主 题:jobmanager重启之后,job没有重启
>
> 大家好:
&
如图看到Attempt ID由01变为02,进程也有所变化,,说明HA切换成功了。
>
> 希望这些内容帮助到你。
>
> Best,
>
> 韩非
>
>
>
> --
> 发件人:孙森
> 发送时间:2019年3月4日(星期一) 18:41
> 收件人:user-zh
> 主 题:jobmanager重启之后,job没有重启
>
> 大家好:
&
大家好:
有配置过flink ha吗?我配置了yarn高可用之后,kill掉job manager
之后,jobmanager可以成功重启,但是yarn
session上正在运行的job并没有重启。我程序是开启了checkpoint的。有谁遇到过吗?是我配置的问题还是什么原因?
附上高可用配置:
high-availability.storageDir: hdfs:///flink/ha/
high-availability.zookeeper.quorum: h1:2181,h2:2181,h3:2181
high-availability.zookeeper.