Re: The number of requested virtual cores for application master 1 exceeds the maximum number of virtual cores 0 available in the Yarn Cluster.
Hi, Kaiqiang Flink run 的正确用法是[1], 通过-c 指定mainClass 需要放在 jar-file 之前。图中的报错是由于没有指定 main-class，同时在 manifest 中也找不到对应的配置，可以检查下最终 jar 包内容是否符合预期。 [1] flink run [OPTIONS] > 2022年3月26日 下午6:52，Kaiqiang XIE谢开强 写道： > > 同样的jar包 在webui 提交可以运行成功 > 但是用命令行就还是不行？ > > > > > > > > > > > > > > > > > 在 2022-03-26 17:01:36，"Kaiqiang XIE谢开强" 写道： > > 不好意思，yarn的问题搞定了。 > 还想再请教一下：我用scala写的程序，在idea中正常运行，打jar包后用flink run 运行。 > 为什么会报找不到主类入口呢？报错截图 > 附件是我的pom文件 > > > > > > > > > > > > > > > > > > 在 2022-03-26 10:37:37，"Geng Biao" 写道： >> 放图的话，建议传到图床上，邮件里放链接。一般运行yarn top即可显示集群状态。 >> >> Best, >> Biao >> >> 获取 Outlook for iOS<https://aka.ms/o0ukef> >> >> 发件人: Kaiqiang XIE谢开强 >> 发送时间: Saturday, March 26, 2022 10:33:40 AM >> 收件人: user-zh@flink.apache.org >> 主题: Re:Re: The number of requested virtual cores for application master 1 >> exceeds the maximum number of virtual cores 0 available in the Yarn Cluster. >> >> >> >> >> >> yarn这是正常的吧？ >> >> [cid:44f01b9d$1$17fc4121e18$Coremail$kqx0731$163.com] >> >> >> 在 2022-03-26 09:22:11，"胡伟华" 写道： >>> 报错是 YARN 集群可用资源不足了，可以检查下 YARN 集群是否正常 >>> >>>> 2022年3月26日 上午8:00，Kaiqiang XIE谢开强 写道： >>>> >>>> 各位好，再请教一个问题哈 >>>> mac上部署flink standalone，在运行 bin/flink run -m yarn-cluster >>>> $FLINK_HOME/examples/streaming/SocketWindowWordCount.jar --port >>>> 8882之后提示The number of requested virtual cores for application master 1 >>>> exceeds the maximum number of virtual cores 0 available in the Yarn >>>> Cluster. >>>> >>>> >>>> >>>> >>>> 这是什么问题呢？ >> >> >> >> >> > > > > >
Re:Re:Re: The number of requested virtual cores for application master 1 exceeds the maximum number of virtual cores 0 available in the Yarn Cluster.
同样的jar包 在webui 提交可以运行成功 但是用命令行就还是不行？ 在 2022-03-26 17:01:36，"Kaiqiang XIE谢开强" 写道： 不好意思，yarn的问题搞定了。 还想再请教一下：我用scala写的程序，在idea中正常运行，打jar包后用flink run 运行。 为什么会报找不到主类入口呢？报错截图 附件是我的pom文件 在 2022-03-26 10:37:37，"Geng Biao" 写道： >放图的话，建议传到图床上，邮件里放链接。一般运行yarn top即可显示集群状态。 > >Best, >Biao > >获取 Outlook for iOS<https://aka.ms/o0ukef> > >发件人: Kaiqiang XIE谢开强 >发送时间: Saturday, March 26, 2022 10:33:40 AM >收件人: user-zh@flink.apache.org >主题: Re:Re: The number of requested virtual cores for application master 1 >exceeds the maximum number of virtual cores 0 available in the Yarn Cluster. > > > > > >yarn这是正常的吧？ > >[cid:44f01b9d$1$17fc4121e18$Coremail$kqx0731$163.com] > > >在 2022-03-26 09:22:11，"胡伟华" 写道： >>报错是 YARN 集群可用资源不足了，可以检查下 YARN 集群是否正常 >> >>> 2022年3月26日 上午8:00，Kaiqiang XIE谢开强 写道： >>> >>> 各位好，再请教一个问题哈 >>> mac上部署flink standalone，在运行 bin/flink run -m yarn-cluster >>> $FLINK_HOME/examples/streaming/SocketWindowWordCount.jar --port 8882之后提示The >>> number of requested virtual cores for application master 1 exceeds the >>> maximum number of virtual cores 0 available in the Yarn Cluster. >>> >>> >>> >>> >>> 这是什么问题呢？ > > > > >
Re:Re: The number of requested virtual cores for application master 1 exceeds the maximum number of virtual cores 0 available in the Yarn Cluster.
不好意思，yarn的问题搞定了。
还想再请教一下：我用scala写的程序，在idea中正常运行，打jar包后用flink run 运行。
为什么会报找不到主类入口呢？报错截图
附件是我的pom文件
在 2022-03-26 10:37:37，"Geng Biao" 写道：
>放图的话，建议传到图床上，邮件里放链接。一般运行yarn top即可显示集群状态。
>
>Best,
>Biao
>
>获取 Outlook for iOS<https://aka.ms/o0ukef>
>
>发件人: Kaiqiang XIE谢开强
>发送时间: Saturday, March 26, 2022 10:33:40 AM
>收件人: user-zh@flink.apache.org
>主题: Re:Re: The number of requested virtual cores for application master 1
>exceeds the maximum number of virtual cores 0 available in the Yarn Cluster.
>
>
>
>
>
>yarn这是正常的吧？
>
>[cid:44f01b9d$1$17fc4121e18$Coremail$kqx0731$163.com]
>
>
>在 2022-03-26 09:22:11，"胡伟华" 写道：
>>报错是 YARN 集群可用资源不足了，可以检查下 YARN 集群是否正常
>>
>>> 2022年3月26日 上午8:00，Kaiqiang XIE谢开强 写道：
>>>
>>> 各位好，再请教一个问题哈
>>> mac上部署flink standalone，在运行 bin/flink run -m yarn-cluster
>>> $FLINK_HOME/examples/streaming/SocketWindowWordCount.jar --port 8882之后提示The
>>> number of requested virtual cores for application master 1 exceeds the
>>> maximum number of virtual cores 0 available in the Yarn Cluster.
>>>
>>>
>>>
>>>
>>> 这是什么问题呢？
>
>
>
>
>
http://maven.apache.org/POM/4.0.0";
xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance";
xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd";>
4.0.0
com.shopee
EntryTask
1.0-SNAPSHOT
8
8
1.13.6
2.12
3.1.0
org.apache.flink
flink-scala_${scala.binary.version}
${flink.version}
provided
org.apache.flink
flink-streaming-scala_${scala.binary.version}
${flink.version}
provided
org.apache.kafka
kafka_${scala.binary.version}
${kafka.version}
provided
org.apache.flink
flink-connector-kafka_${scala.binary.version}
${flink.version}
provided
org.apache.flink
flink-clients_${scala.binary.version}
${flink.version}
provided
net.alchim31.maven
scala-maven-plugin
4.4.0
compile-scala
compile
add-source
compile
test-compile-scala
test-compile
add-source
testCompile
org.apache.maven.plugins
maven-assembly-plugin
3.3.0
com.shopp.KafkaProducer
jar-with-dependencies
make-assembly
package
single
Re: The number of requested virtual cores for application master 1 exceeds the maximum number of virtual cores 0 available in the Yarn Cluster.
放图的话，建议传到图床上，邮件里放链接。一般运行yarn top即可显示集群状态。 Best, Biao 获取 Outlook for iOS<https://aka.ms/o0ukef> 发件人: Kaiqiang XIE谢开强 发送时间: Saturday, March 26, 2022 10:33:40 AM 收件人: user-zh@flink.apache.org 主题: Re:Re: The number of requested virtual cores for application master 1 exceeds the maximum number of virtual cores 0 available in the Yarn Cluster. yarn这是正常的吧？ [cid:44f01b9d$1$17fc4121e18$Coremail$kqx0731$163.com] 在 2022-03-26 09:22:11，"胡伟华" 写道： >报错是 YARN 集群可用资源不足了，可以检查下 YARN 集群是否正常 > >> 2022年3月26日 上午8:00，Kaiqiang XIE谢开强 写道： >> >> 各位好，再请教一个问题哈 >> mac上部署flink standalone，在运行 bin/flink run -m yarn-cluster >> $FLINK_HOME/examples/streaming/SocketWindowWordCount.jar --port 8882之后提示The >> number of requested virtual cores for application master 1 exceeds the >> maximum number of virtual cores 0 available in the Yarn Cluster. >> >> >> >> >> 这是什么问题呢？
Re:Re: The number of requested virtual cores for application master 1 exceeds the maximum number of virtual cores 0 available in the Yarn Cluster.
yarn这是正常的吧？ 在 2022-03-26 09:22:11，"胡伟华" 写道： >报错是 YARN 集群可用资源不足了，可以检查下 YARN 集群是否正常 > >> 2022年3月26日 上午8:00，Kaiqiang XIE谢开强 写道： >> >> 各位好，再请教一个问题哈 >> mac上部署flink standalone，在运行 bin/flink run -m yarn-cluster >> $FLINK_HOME/examples/streaming/SocketWindowWordCount.jar --port 8882之后提示The >> number of requested virtual cores for application master 1 exceeds the >> maximum number of virtual cores 0 available in the Yarn Cluster. >> >> >> >> >> 这是什么问题呢？
Re: The number of requested virtual cores for application master 1 exceeds the maximum number of virtual cores 0 available in the Yarn Cluster.
报错是 YARN 集群可用资源不足了，可以检查下 YARN 集群是否正常 > 2022年3月26日 上午8:00，Kaiqiang XIE谢开强 写道： > > 各位好，再请教一个问题哈 > mac上部署flink standalone，在运行 bin/flink run -m yarn-cluster > $FLINK_HOME/examples/streaming/SocketWindowWordCount.jar --port 8882之后提示The > number of requested virtual cores for application master 1 exceeds the > maximum number of virtual cores 0 available in the Yarn Cluster. > > > > > 这是什么问题呢？
The number of requested virtual cores for application master 1 exceeds the maximum number of virtual cores 0 available in the Yarn Cluster.
各位好，再请教一个问题哈 mac上部署flink standalone，在运行 bin/flink run -m yarn-cluster $FLINK_HOME/examples/streaming/SocketWindowWordCount.jar --port 8882之后提示The number of requested virtual cores for application master 1 exceeds the maximum number of virtual cores 0 available in the Yarn Cluster. 这是什么问题呢？
Re: flink run -d -m yarn-cluster 提交任务到yarn集群不成功
export HADOOP_CLASSPATH=`hadoop classpath` 如上方式应该是没有问题的，你确认下这些目录下面的jar包是存在的，尤其是/Users//local/hadoop/hadoop-3.2.2/share/hadoop/yarn/ Best, Yang 龙逸尘 于2021年8月31日周二 上午11:02写道： > Hi Wayne， > > 可以尝试下指定 HADOOP_CONF_DIR > export HADOOP_CONF_DIR=/opt/flink/hadoop-conf/ > > Wayne <1...@163.com> 于2021年8月28日周六 下午8:37写道： > > > 我的提交命令 > > > > > > ./bin/flink run -d -m yarn-cluster > > > > > > 报错如下 > > The program finished with the following exception: > > > > > > java.lang.IllegalStateException: No Executor found. Please make sure to > > export the HADOOP_CLASSPATH environment variable or have hadoop in your > > classpath. For more information refer to the "Deployment" section of the > > official Apache Flink documentation. > > at > > > org.apache.flink.yarn.cli.FallbackYarnSessionCli.isActive(FallbackYarnSessionCli.java:41) > > at > > > org.apache.flink.client.cli.CliFrontend.validateAndGetActiveCommandLine(CliFrontend.java:1236) > > at > > org.apache.flink.client.cli.CliFrontend.run(CliFrontend.java:234) > > at > > > org.apache.flink.client.cli.CliFrontend.parseAndRun(CliFrontend.java:1054) > > at > > > org.apache.flink.client.cli.CliFrontend.lambda$main$10(CliFrontend.java:1132) > > at > > > org.apache.flink.runtime.security.contexts.NoOpSecurityContext.runSecured(NoOpSecurityContext.java:28) > > at > > org.apache.flink.client.cli.CliFrontend.main(CliFrontend.java:1132) > > > > > > 运行命令 hadoop classpath > > @192 flink-1.12.2 % hadoop classpath > > > > > /Users//local/hadoop/hadoop-3.2.2/etc/hadoop:/Users//local/hadoop/hadoop-3.2.2/share/hadoop/common/lib/*:/Users//local/hadoop/hadoop-3.2.2/share/hadoop/common/*:/Users//local/hadoop/hadoop-3.2.2/share/hadoop/hdfs:/Users//local/hadoop/hadoop-3.2.2/share/hadoop/hdfs/lib/*:/Users//local/hadoop/hadoop-3.2.2/share/hadoop/hdfs/*:/Users//local/hadoop/hadoop-3.2.2/share/hadoop/mapreduce/lib/*:/Users//local/hadoop/hadoop-3.2.2/share/hadoop/mapreduce/*:/Users//local/hadoop/hadoop-3.2.2/share/hadoop/yarn:/Users//local/hadoop/hadoop-3.2.2/share/hadoop/yarn/lib/*:/Users//local/hadoop/hadoop-3.2.2/share/hadoop/yarn/*:/Users//local/hadoop/hadoop-3.2.2 > > 反复配置HADOOP_CLASSPATH 无法生效 官网给出的 > > export HADOOP_CLASSPATH=`hadoop classpath` > > 这个 hadoop classpath 具体配置到哪一级 > > > > > > > > > > > > > > > > >
Re: flink run -d -m yarn-cluster 提交任务到yarn集群不成功
Hi Wayne， 可以尝试下指定 HADOOP_CONF_DIR export HADOOP_CONF_DIR=/opt/flink/hadoop-conf/ Wayne <1...@163.com> 于2021年8月28日周六 下午8:37写道： > 我的提交命令 > > > ./bin/flink run -d -m yarn-cluster > > > 报错如下 > The program finished with the following exception: > > > java.lang.IllegalStateException: No Executor found. Please make sure to > export the HADOOP_CLASSPATH environment variable or have hadoop in your > classpath. For more information refer to the "Deployment" section of the > official Apache Flink documentation. > at > org.apache.flink.yarn.cli.FallbackYarnSessionCli.isActive(FallbackYarnSessionCli.java:41) > at > org.apache.flink.client.cli.CliFrontend.validateAndGetActiveCommandLine(CliFrontend.java:1236) > at > org.apache.flink.client.cli.CliFrontend.run(CliFrontend.java:234) > at > org.apache.flink.client.cli.CliFrontend.parseAndRun(CliFrontend.java:1054) > at > org.apache.flink.client.cli.CliFrontend.lambda$main$10(CliFrontend.java:1132) > at > org.apache.flink.runtime.security.contexts.NoOpSecurityContext.runSecured(NoOpSecurityContext.java:28) > at > org.apache.flink.client.cli.CliFrontend.main(CliFrontend.java:1132) > > > 运行命令 hadoop classpath > @192 flink-1.12.2 % hadoop classpath > > /Users//local/hadoop/hadoop-3.2.2/etc/hadoop:/Users//local/hadoop/hadoop-3.2.2/share/hadoop/common/lib/*:/Users//local/hadoop/hadoop-3.2.2/share/hadoop/common/*:/Users//local/hadoop/hadoop-3.2.2/share/hadoop/hdfs:/Users//local/hadoop/hadoop-3.2.2/share/hadoop/hdfs/lib/*:/Users//local/hadoop/hadoop-3.2.2/share/hadoop/hdfs/*:/Users//local/hadoop/hadoop-3.2.2/share/hadoop/mapreduce/lib/*:/Users//local/hadoop/hadoop-3.2.2/share/hadoop/mapreduce/*:/Users//local/hadoop/hadoop-3.2.2/share/hadoop/yarn:/Users//local/hadoop/hadoop-3.2.2/share/hadoop/yarn/lib/*:/Users//local/hadoop/hadoop-3.2.2/share/hadoop/yarn/*:/Users//local/hadoop/hadoop-3.2.2 > 反复配置HADOOP_CLASSPATH 无法生效 官网给出的 > export HADOOP_CLASSPATH=`hadoop classpath` > 这个 hadoop classpath 具体配置到哪一级 > > > > > > > >
Re: flink run -d -m yarn-cluster 提交任务到yarn集群不成功
Hi！ 不太明白“配置到哪一级”是什么含义。export 命令是将变量导出到目前的 shell session，在从 shell logout 之前都有效。如果运行了 export 命令之后再运行 flink run 应该就可行了。 Wayne <1...@163.com> 于2021年8月28日周六 下午8:37写道： > 我的提交命令 > > > ./bin/flink run -d -m yarn-cluster > > > 报错如下 > The program finished with the following exception: > > > java.lang.IllegalStateException: No Executor found. Please make sure to > export the HADOOP_CLASSPATH environment variable or have hadoop in your > classpath. For more information refer to the "Deployment" section of the > official Apache Flink documentation. > at > org.apache.flink.yarn.cli.FallbackYarnSessionCli.isActive(FallbackYarnSessionCli.java:41) > at > org.apache.flink.client.cli.CliFrontend.validateAndGetActiveCommandLine(CliFrontend.java:1236) > at > org.apache.flink.client.cli.CliFrontend.run(CliFrontend.java:234) > at > org.apache.flink.client.cli.CliFrontend.parseAndRun(CliFrontend.java:1054) > at > org.apache.flink.client.cli.CliFrontend.lambda$main$10(CliFrontend.java:1132) > at > org.apache.flink.runtime.security.contexts.NoOpSecurityContext.runSecured(NoOpSecurityContext.java:28) > at > org.apache.flink.client.cli.CliFrontend.main(CliFrontend.java:1132) > > > 运行命令 hadoop classpath > @192 flink-1.12.2 % hadoop classpath > > /Users//local/hadoop/hadoop-3.2.2/etc/hadoop:/Users//local/hadoop/hadoop-3.2.2/share/hadoop/common/lib/*:/Users//local/hadoop/hadoop-3.2.2/share/hadoop/common/*:/Users//local/hadoop/hadoop-3.2.2/share/hadoop/hdfs:/Users//local/hadoop/hadoop-3.2.2/share/hadoop/hdfs/lib/*:/Users//local/hadoop/hadoop-3.2.2/share/hadoop/hdfs/*:/Users//local/hadoop/hadoop-3.2.2/share/hadoop/mapreduce/lib/*:/Users//local/hadoop/hadoop-3.2.2/share/hadoop/mapreduce/*:/Users//local/hadoop/hadoop-3.2.2/share/hadoop/yarn:/Users//local/hadoop/hadoop-3.2.2/share/hadoop/yarn/lib/*:/Users//local/hadoop/hadoop-3.2.2/share/hadoop/yarn/*:/Users//local/hadoop/hadoop-3.2.2 > 反复配置HADOOP_CLASSPATH 无法生效 官网给出的 > export HADOOP_CLASSPATH=`hadoop classpath` > 这个 hadoop classpath 具体配置到哪一级 > > > > > > > >
flink run -d -m yarn-cluster 提交任务到yarn集群不成功
我的提交命令 ./bin/flink run -d -m yarn-cluster 报错如下 The program finished with the following exception: java.lang.IllegalStateException: No Executor found. Please make sure to export the HADOOP_CLASSPATH environment variable or have hadoop in your classpath. For more information refer to the "Deployment" section of the official Apache Flink documentation. at org.apache.flink.yarn.cli.FallbackYarnSessionCli.isActive(FallbackYarnSessionCli.java:41) at org.apache.flink.client.cli.CliFrontend.validateAndGetActiveCommandLine(CliFrontend.java:1236) at org.apache.flink.client.cli.CliFrontend.run(CliFrontend.java:234) at org.apache.flink.client.cli.CliFrontend.parseAndRun(CliFrontend.java:1054) at org.apache.flink.client.cli.CliFrontend.lambda$main$10(CliFrontend.java:1132) at org.apache.flink.runtime.security.contexts.NoOpSecurityContext.runSecured(NoOpSecurityContext.java:28) at org.apache.flink.client.cli.CliFrontend.main(CliFrontend.java:1132) 运行命令 hadoop classpath @192 flink-1.12.2 % hadoop classpath /Users//local/hadoop/hadoop-3.2.2/etc/hadoop:/Users//local/hadoop/hadoop-3.2.2/share/hadoop/common/lib/*:/Users//local/hadoop/hadoop-3.2.2/share/hadoop/common/*:/Users//local/hadoop/hadoop-3.2.2/share/hadoop/hdfs:/Users//local/hadoop/hadoop-3.2.2/share/hadoop/hdfs/lib/*:/Users//local/hadoop/hadoop-3.2.2/share/hadoop/hdfs/*:/Users//local/hadoop/hadoop-3.2.2/share/hadoop/mapreduce/lib/*:/Users//local/hadoop/hadoop-3.2.2/share/hadoop/mapreduce/*:/Users//local/hadoop/hadoop-3.2.2/share/hadoop/yarn:/Users//local/hadoop/hadoop-3.2.2/share/hadoop/yarn/lib/*:/Users//local/hadoop/hadoop-3.2.2/share/hadoop/yarn/*:/Users//local/hadoop/hadoop-3.2.2 反复配置HADOOP_CLASSPATH 无法生效 官网给出的 export HADOOP_CLASSPATH=`hadoop classpath` 这个 hadoop classpath 具体配置到哪一级
Flink on yarn-cluster模式提交任务报错
我在CDH集群上使用Flink on yarn-cluster模式提交任务，报错不能部署，找不到jar包。 这个jar包是我没有用到的，但是在flink的lib中是存在的，并且我已经将lib的目录添加到环境变量中： export HADOOP_CLASSPATH=/opt/cloudera/parcels/FLINK/lib/flink/lib The program finished with the following exception: org.apache.flink.client.program.ProgramInvocationException: The main method caused an error: Could not deploy Yarn job cluster. at org.apache.flink.client.program.PackagedProgram.callMainMethod(PackagedProgram.java:366) at org.apache.flink.client.program.PackagedProgram.invokeInteractiveModeForExecution(PackagedProgram.java:219) at org.apache.flink.client.ClientUtils.executeProgram(ClientUtils.java:114) at org.apache.flink.client.cli.CliFrontend.executeProgram(CliFrontend.java:812) at org.apache.flink.client.cli.CliFrontend.run(CliFrontend.java:246) at org.apache.flink.client.cli.CliFrontend.parseAndRun(CliFrontend.java:1054) at org.apache.flink.client.cli.CliFrontend.lambda$main$10(CliFrontend.java:1132) at java.security.AccessController.doPrivileged(Native Method) at javax.security.auth.Subject.doAs(Subject.java:422) at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1875) at org.apache.flink.runtime.security.contexts.HadoopSecurityContext.runSecured(HadoopSecurityContext.java:41) at org.apache.flink.client.cli.CliFrontend.main(CliFrontend.java:1132) Caused by: org.apache.flink.client.deployment.ClusterDeploymentException: Could not deploy Yarn job cluster. at org.apache.flink.yarn.YarnClusterDescriptor.deployJobCluster(YarnClusterDescriptor.java:481) at org.apache.flink.client.deployment.executors.AbstractJobClusterExecutor.execute(AbstractJobClusterExecutor.java:81) at org.apache.flink.api.java.ExecutionEnvironment.executeAsync(ExecutionEnvironment.java:1053) at org.apache.flink.client.program.ContextEnvironment.executeAsync(ContextEnvironment.java:129) at org.apache.flink.client.program.ContextEnvironment.execute(ContextEnvironment.java:70) at org.apache.flink.api.java.ExecutionEnvironment.execute(ExecutionEnvironment.java:942) at org.apache.flink.api.java.DataSet.collect(DataSet.java:417) at org.apache.flink.api.java.DataSet.print(DataSet.java:1748) at org.apache.flink.examples.java.wordcount.WordCount.main(WordCount.java:96) at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method) at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:62) at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43) at java.lang.reflect.Method.invoke(Method.java:498) at org.apache.flink.client.program.PackagedProgram.callMainMethod(PackagedProgram.java:349) ... 11 more Caused by: org.apache.flink.yarn.YarnClusterDescriptor$YarnDeploymentException: The YARN application unexpectedly switched to state FAILED during deployment. Diagnostics from YARN: Application application_1623148752688_0041 failed 1 times (global limit =2; local limit is =1) due to AM Container for appattempt_1623148752688_0041_01 exited with exitCode: -1000 Failing this attempt.Diagnostics: [2021-06-08 18:56:14.062]File file:/root/.flink/application_1623148752688_0041/lib/flink-table-blink_2.12-1.12.4.jar does not exist java.io.FileNotFoundException: File file:/root/.flink/application_1623148752688_0041/lib/flink-table-blink_2.12-1.12.4.jar does not exist at org.apache.hadoop.fs.RawLocalFileSystem.deprecatedGetFileStatus(RawLocalFileSystem.java:641) at org.apache.hadoop.fs.RawLocalFileSystem.getFileLinkStatusInternal(RawLocalFileSystem.java:867) at org.apache.hadoop.fs.RawLocalFileSystem.getFileStatus(RawLocalFileSystem.java:631) at org.apache.hadoop.fs.FilterFileSystem.getFileStatus(FilterFileSystem.java:442) at org.apache.hadoop.yarn.util.FSDownload.verifyAndCopy(FSDownload.java:269) at org.apache.hadoop.yarn.util.FSDownload.access$000(FSDownload.java:67) at org.apache.hadoop.yarn.util.FSDownload$2.run(FSDownload.java:414) at org.apache.hadoop.yarn.util.FSDownload$2.run(FSDownload.java:411) at java.security.AccessController.doPrivileged(Native Method) at javax.security.auth.Subject.doAs(Subject.java:422) at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1875) at org.apache.hadoop.yarn.util.FSDownload.call(FSDownload.java:411) at org.apache.hadoop.yarn.server.nodemanager.containermanager.localizer.ContainerLocalizer$FSDownloadWrapper.doDownloadCall(ContainerLocalizer.java:242) at org.apache.hadoop.yarn.server.nodemanager.containermanager.localizer.ContainerLocalizer$FSDownloadWrapper.call(ContainerLocalizer.java:235) at org.apache.hadoop.yarn.server.nodemanager.containermanager.localizer.ContainerLocalizer$FSDownloadWrapper.call
yarn-cluster模式下flink的类加载顺序问题
*遇到的问题* 根据flink写入hive的最佳实践(https://ci.apache.org/projects/flink/flink-docs-release-1.13/docs/connectors/table/hive/overview/#dependencies), 我们添加了flink-sql-connector-hive-2.2.0_2.11-1.12.0.jar到集群的lib目录下. 该jar包中使用了3.1版本的common-lang3 我们想要使用3.3.2版本的common-lang3, 于是手动打包了logformat.jar, 但发现任务执行时还是调用了3.1版本的common-lang3 *我们的处理方式* 在官网上看到yarn-cluster模式下, 不会使用动态类加载(https://ci.apache.org/projects/flink/flink-docs-release-1.13/docs/ops/debugging/debugging_classloading/#overview-of-classloading-in-flink). 我们的理解是, 不使用动态类加载, 也就不会特意优先加载用户的jar, 此时会根据jar包的名字从a到z依次加载. 于是我们把logformat.jar改名为alogformat.jar, 以保证用户jar包的名字在排序时有更高的优先级. 然后再执行任务时, 正常调用了3.3.2版本的common-lang3 *问题总结* 1. yarn-cluster模式下确实是根据jar包的名字从a到z依次加载的吗? 2. 在yarn-cluster模式下, 有没有办法不更改用户jar包的名字, 但是优先加载用户jar包 *组件版本* flink: 1.12.0 hive: 2.1.0 -- Sent from: http://apache-flink.147419.n8.nabble.com/
Re:提交job的命令，./bin/flink run-application -t yarn-application ... 和 ./bin/flink run -m yarn-cluster ...
-t是flink1.12出来的，通过-t指定提交模式后，yarn相关参数要通过 -D来指定，例如 -D yarn.application.name 在 2021-01-29 12:52:41，"lp" <973182...@qq.com> 写道： >如题，在 ./flink --help中看到提交job的命令有两个相似的，貌似都会将jobManager发送yarn >node上去之行，但不明白他们区别，官网也未找到他们的区别，请帮忙解释下他们之间的区别？ > > > >-- >Sent from: http://apache-flink.147419.n8.nabble.com/
Re: 提交job的命令，./bin/flink run-application -t yarn-application ... 和 ./bin/flink run -m yarn-cluster ...
-m yarn-cluster和-t yarn-per-job都是可以用来提交per-job任务到Yarn集群的 只是背后实现的CLI不一样而已，前者FlinkYarnSessionCLI是以前的方式 后者是在1.10引入的一个更加通用的方式，可以和K8s、Standalone等保持一致 另外，还有一个差异是，-m yarn-cluster是可以支持-yq -ynm等这些CLI参数的 -t yarn-per-job只能通过-D的方式来设置 Best, Yang lp <973182...@qq.com> 于2021年1月29日周五 下午3:00写道： > 应该说是否：1.11和1.12这里这两种提交方式 是不是一样的，只不过命令有了变化？ > > 官网中的摘录如下： > > flink-1.11: > Run a single Flink job on YARN > > Example: > ./bin/flink run -m yarn-cluster ./examples/batch/WordCount.jar > > -- > flink-1.12: > Per-Job Cluster Mode > > Example: > ./bin/flink run -t yarn-per-job --detached > ./examples/streaming/TopSpeedWindowing.jar > > > > -- > Sent from: http://apache-flink.147419.n8.nabble.com/ >
Re: 提交job的命令，./bin/flink run-application -t yarn-application ... 和 ./bin/flink run -m yarn-cluster ...
应该说是否：1.11和1.12这里这两种提交方式 是不是一样的，只不过命令有了变化？ 官网中的摘录如下： flink-1.11: Run a single Flink job on YARN Example: ./bin/flink run -m yarn-cluster ./examples/batch/WordCount.jar -- flink-1.12: Per-Job Cluster Mode Example: ./bin/flink run -t yarn-per-job --detached ./examples/streaming/TopSpeedWindowing.jar -- Sent from: http://apache-flink.147419.n8.nabble.com/
提交job的命令，./bin/flink run-application -t yarn-application ... 和 ./bin/flink run -m yarn-cluster ...
如题，在 ./flink --help中看到提交job的命令有两个相似的，貌似都会将jobManager发送yarn node上去之行，但不明白他们区别，官网也未找到他们的区别，请帮忙解释下他们之间的区别？ -- Sent from: http://apache-flink.147419.n8.nabble.com/
Re: Re: flink-1.10.0通过run -m yarn-cluster提交任务时异常
常见问题。 现在 Flink 不 bundle hadoop，所以你要设置下 HADOOP_CLASSPATH Best, tison. amenhub 于2020年2月18日周二 上午11:51写道： > hi, Weihua > > > 如你所说，我想要通过flink on yarn的run方式提交任务到集群上，但是当我运行./bin/flink run -m > yarn-cluster ../examples/batch/WordCount.jar ，还是一样的错误， > 日志信息只有这么一些；如果按您所说，是因为没有成功加载FlinkYarnSessionCli导致的，那导致没有成功加载的原因有哪些方面呢？谢谢！ > > > 祝好，amenhub > > > > > > > > 在 2020-02-18 11:29:13，"Weihua Hu" 写道： > >Hi, amenhub > > > >你应该是要把作业提交到 yarn 上吧。这个错误应该没有正确的加载 FlinkYarnSessionCli > 导致的，这些日志不是失败的根因。可以多提供一些日志看看。 > > > > > >Best > >Weihua Hu > > > >> 2020年2月18日 10:56，amenhub 写道： > >> > >> parseHostPortAddress > > >
Re:Re: flink-1.10.0通过run -m yarn-cluster提交任务时异常
hi, Weihua 如你所说，我想要通过flink on yarn的run方式提交任务到集群上，但是当我运行./bin/flink run -m yarn-cluster ../examples/batch/WordCount.jar ，还是一样的错误， 日志信息只有这么一些；如果按您所说，是因为没有成功加载FlinkYarnSessionCli导致的，那导致没有成功加载的原因有哪些方面呢？谢谢！ 祝好，amenhub 在 2020-02-18 11:29:13，"Weihua Hu" 写道： >Hi, amenhub > >你应该是要把作业提交到 yarn 上吧。这个错误应该没有正确的加载 FlinkYarnSessionCli >导致的，这些日志不是失败的根因。可以多提供一些日志看看。 > > >Best >Weihua Hu > >> 2020年2月18日 10:56，amenhub 写道： >> >> parseHostPortAddress >
Re: flink-1.10.0通过run -m yarn-cluster提交任务时异常
Hi, amenhub 你应该是要把作业提交到 yarn 上吧。这个错误应该没有正确的加载 FlinkYarnSessionCli 导致的，这些日志不是失败的根因。可以多提供一些日志看看。 Best Weihua Hu > 2020年2月18日 10:56，amenhub 写道： > > parseHostPortAddress
flink-1.10.0通过run -m yarn-cluster提交任务时异常
各位好，
The program finished with the following exception:
java.lang.IllegalArgumentException: The given host:port ('yarn-cluster')
doesn't contain a valid port
at org.apache.flink.util.NetUtils.validateHostPortString(NetUtils.java:108)
at org.apache.flink.util.NetUtils.parseHostPortAddress(NetUtils.java:88)
祝好！
Re: using thin jar to replace fat jar on yarn cluster mode
Hi zjfplayer, First, your user fat jar should not contains any flink dependents, them should be "provided". If your goal is to reduce the deployment time of task, and you are currently using session mode, you can consider putting jars directly under lib. Best, Jingsong Lee On Mon, Dec 23, 2019 at 3:24 PM Rui Li wrote: > Hi, > > I think you can try specifying dependent jars with the -C option[1] when > you submit the job, and see if that meets your needs. > > [1] > https://ci.apache.org/projects/flink/flink-docs-stable/ops/cli.html#usage > > On Mon, Dec 23, 2019 at 10:09 AM zjfpla...@hotmail.com < > zjfpla...@hotmail.com> wrote: > >> Hi, >> Does flink on yarn support using thin jar to replace fat jar? >> I don't want the jar of each flink task to have hundreds of MB. I >> want to put all the dependent packages in a single directory,and then >> the size of each flink task jar will be tens of KB. >> >> -- >> zjfpla...@hotmail.com >> > > > -- > Best regards! > Rui Li > -- Best, Jingsong Lee
Re: using thin jar to replace fat jar on yarn cluster mode
Hi, I think you can try specifying dependent jars with the -C option[1] when you submit the job, and see if that meets your needs. [1] https://ci.apache.org/projects/flink/flink-docs-stable/ops/cli.html#usage On Mon, Dec 23, 2019 at 10:09 AM zjfpla...@hotmail.com < zjfpla...@hotmail.com> wrote: > Hi, > Does flink on yarn support using thin jar to replace fat jar? > I don't want the jar of each flink task to have hundreds of MB. I > want to put all the dependent packages in a single directory,and then the > size of each flink task jar will be tens of KB. > > -- > zjfpla...@hotmail.com > -- Best regards! Rui Li
Re: Re: using thin jar to replace fat jar on yarn cluster mode
When using yarn originally, we found a problem. The jars on yarn will take precedence over the jars on the specified classpath, and sometimes yarn is shared, and the jars in the lib directory of yarn cannot be modified. When Flink runs on a yarn cluster, is the jar on the classpath of flink itself higher than the jar on yarn? zjfpla...@hotmail.com From: tangjunli...@huitongjy.com<mailto:tangjunli...@huitongjy.com> Date: 2019-12-23 10:34 To: user-zh<mailto:user-zh@flink.apache.org> Subject: Re: using thin jar to replace fat jar on yarn cluster mode Specify classpath tangjunli...@huitongjy.com From: zjfpla...@hotmail.com Date: 2019-12-23 10:09 To: user; user-zh Subject: using thin jar to replace fat jar on yarn cluster mode Hi, Does flink on yarn support using thin jar to replace fat jar? I don't want the jar of each flink task to have hundreds of MB. I want to put all the dependent packages in a single directory,and then the size of each flink task jar will be tens of KB. zjfpla...@hotmail.com
Re: using thin jar to replace fat jar on yarn cluster mode
Specify classpath tangjunli...@huitongjy.com From: zjfpla...@hotmail.com Date: 2019-12-23 10:09 To: user; user-zh Subject: using thin jar to replace fat jar on yarn cluster mode Hi, Does flink on yarn support using thin jar to replace fat jar? I don't want the jar of each flink task to have hundreds of MB. I want to put all the dependent packages in a single directory,and then the size of each flink task jar will be tens of KB. zjfpla...@hotmail.com
using thin jar to replace fat jar on yarn cluster mode
Hi, Does flink on yarn support using thin jar to replace fat jar? I don't want the jar of each flink task to have hundreds of MB. I want to put all the dependent packages in a single directory,and then the size of each flink task jar will be tens of KB. zjfpla...@hotmail.com
??????yarn-cluster ??????????????
jarcom.dora.job.stream.AliLogStreamingJob ?? ??2019??12??2?? 13:59??
yarn-cluster 提交任务的问题
指定主程序类；报错： The program's entry point class 'com.dora.job.stream.AliLogStreamingJob' was not found in the jar file. 但是运行同一个包下另一个主程序类却可以找到，可以运行；这个类就不可以
Re:Re: 通过 yarn-cluster 提交多个任务，Flink 页面只显示最后一个提交的任务
终于搞明白了，太感谢啦 在 2019-11-18 16:09:32，"aihua li" 写道： >这个跟每个job申请的资源有关，如果三个job申请的总资源数小于yarn总的资源，那么三个job是可以同时running，否则会有job因为资源申请不到而处于accepted状态 >资源足够的话两个job是可以调度到一台机器上的，只是端口号不同而已，可以从yarn页面上通过链接进入不同的页面查看 > >> 在 2019年11月18日，下午3:54，Henry 写道： >> >> >> >> >> 哦哦，太感谢了，我刚注意到链接是 http://slave1:41921/#/overview 。 >> 但是有俩小疑问哈，第一个是，这个“41921”端口号是在哪里看到的呢？ >> 第二个是，假如我只有slave1、slave2两台机器，但是我现在写好了三个Flink程序，然后 >> 要提交到 yarn 上运行，那么我是不是最多也就可以看到两个 running job ？ >> 还是虽然其中两个程序虽然在同一个节点上，但是他们的端口号是不同的，可能是 slave1:1000 >> 对应一个程序，slave2:2000对应一个程序，通过链接进入不同 >> 的页面查看？ >> >> >> >> >> >> >> 在 2019-11-18 13:44:09，"aihua li" 写道： >>> 看了你的截图，链接中是id为0018的application，里面确实只有一个job，另一个job是在id为0019的application里，你变更下链接中的applicationId，应该就能看到另一个作业了 >>> >>>> 在 2019年11月17日，下午4:14，Henry 写道： >>>> >>>> >>>> >>>> 是的，两个程序确实也都在运行，俩程序往数据库里写的数据是不同的，都在更新，所以运行木有问题。但是在 Flink Web 页面里的 Running >>>> Job 中只有最后提交的那个 >>>> 程序，没有先提交的那个程序，确实有问题。您看下那个链接，是我截的图，谢谢。 >>>> >>>> >>>> >>>> >>>> >>>> 在 2019-11-17 16:05:29，18612537...@163.com 写道： >>>>> 提交两个是两个进程，所以是两个job。我觉得没有任何问题，你点进去flink的页面肯定各是各的。 >>>>> >>>>> 发自我的iPhone >>>>> >>>>>> 在 2019年11月17日，下午2:51，Henry 写道： >>>>>> >>>>>> >>>>>> 大家好，我想请教一个问题哈。 就是我通过 ./flink run -m yarn-cluster -yn 2 -yjm 1024 -ytm >>>>>> 1024 xxx.jar 的方式提交了两个不同的任务程序，在yarn界面里也能看到两个正在运行的 app ，但是点击 对应的 >>>>>> ApplicationMater 跳转到 Flink-Dashboard 页面之后，在 Running job >>>>>> 页面只看到一个运行的最后提交的程序呢？ Task Slot 也只用了 1 个，这是啥情况呢？ 也木有报错。yarn 页面显示两个任务都是 >>>>>> Running 状态，而且先提交的哪个程序任务确实是在运行中的，因为数据库中的数据也是在增加呢。 谢谢大家。 >>>>>> 详情图片如下： >>>>>> https://img-blog.csdnimg.cn/20191115175027258.png >>>>>> >>>>>> >>>>>> >>>>>> >>>>>> >>>>>> >>>>>> >>>>>> >>>>>> >>> >
Re: 通过 yarn-cluster 提交多个任务，Flink 页面只显示最后一个提交的任务
这个跟每个job申请的资源有关，如果三个job申请的总资源数小于yarn总的资源，那么三个job是可以同时running，否则会有job因为资源申请不到而处于accepted状态 资源足够的话两个job是可以调度到一台机器上的，只是端口号不同而已，可以从yarn页面上通过链接进入不同的页面查看 > 在 2019年11月18日，下午3:54，Henry 写道： > > > > > 哦哦，太感谢了，我刚注意到链接是 http://slave1:41921/#/overview 。 > 但是有俩小疑问哈，第一个是，这个“41921”端口号是在哪里看到的呢？ > 第二个是，假如我只有slave1、slave2两台机器，但是我现在写好了三个Flink程序，然后 > 要提交到 yarn 上运行，那么我是不是最多也就可以看到两个 running job ？ > 还是虽然其中两个程序虽然在同一个节点上，但是他们的端口号是不同的，可能是 slave1:1000 > 对应一个程序，slave2:2000对应一个程序，通过链接进入不同 > 的页面查看？ > > > > > > > 在 2019-11-18 13:44:09，"aihua li" 写道： >> 看了你的截图，链接中是id为0018的application，里面确实只有一个job，另一个job是在id为0019的application里，你变更下链接中的applicationId，应该就能看到另一个作业了 >> >>> 在 2019年11月17日，下午4:14，Henry 写道： >>> >>> >>> >>> 是的，两个程序确实也都在运行，俩程序往数据库里写的数据是不同的，都在更新，所以运行木有问题。但是在 Flink Web 页面里的 Running >>> Job 中只有最后提交的那个 >>> 程序，没有先提交的那个程序，确实有问题。您看下那个链接，是我截的图，谢谢。 >>> >>> >>> >>> >>> >>> 在 2019-11-17 16:05:29，18612537...@163.com 写道： >>>> 提交两个是两个进程，所以是两个job。我觉得没有任何问题，你点进去flink的页面肯定各是各的。 >>>> >>>> 发自我的iPhone >>>> >>>>> 在 2019年11月17日，下午2:51，Henry 写道： >>>>> >>>>> >>>>> 大家好，我想请教一个问题哈。 就是我通过 ./flink run -m yarn-cluster -yn 2 -yjm 1024 -ytm >>>>> 1024 xxx.jar 的方式提交了两个不同的任务程序，在yarn界面里也能看到两个正在运行的 app ，但是点击 对应的 >>>>> ApplicationMater 跳转到 Flink-Dashboard 页面之后，在 Running job >>>>> 页面只看到一个运行的最后提交的程序呢？ Task Slot 也只用了 1 个，这是啥情况呢？ 也木有报错。yarn 页面显示两个任务都是 >>>>> Running 状态，而且先提交的哪个程序任务确实是在运行中的，因为数据库中的数据也是在增加呢。 谢谢大家。 >>>>> 详情图片如下： >>>>> https://img-blog.csdnimg.cn/20191115175027258.png >>>>> >>>>> >>>>> >>>>> >>>>> >>>>> >>>>> >>>>> >>>>> >>
Re:Re: 通过 yarn-cluster 提交多个任务，Flink 页面只显示最后一个提交的任务
哦哦，太感谢了，我刚注意到链接是 http://slave1:41921/#/overview 。 但是有俩小疑问哈，第一个是，这个“41921”端口号是在哪里看到的呢？ 第二个是，假如我只有slave1、slave2两台机器，但是我现在写好了三个Flink程序，然后 要提交到 yarn 上运行，那么我是不是最多也就可以看到两个 running job ？ 还是虽然其中两个程序虽然在同一个节点上，但是他们的端口号是不同的，可能是 slave1:1000 对应一个程序，slave2:2000对应一个程序，通过链接进入不同 的页面查看？ 在 2019-11-18 13:44:09，"aihua li" 写道： >看了你的截图，链接中是id为0018的application，里面确实只有一个job，另一个job是在id为0019的application里，你变更下链接中的applicationId，应该就能看到另一个作业了 > >> 在 2019年11月17日，下午4:14，Henry 写道： >> >> >> >> 是的，两个程序确实也都在运行，俩程序往数据库里写的数据是不同的，都在更新，所以运行木有问题。但是在 Flink Web 页面里的 Running Job >> 中只有最后提交的那个 >> 程序，没有先提交的那个程序，确实有问题。您看下那个链接，是我截的图，谢谢。 >> >> >> >> >> >> 在 2019-11-17 16:05:29，18612537...@163.com 写道： >>> 提交两个是两个进程，所以是两个job。我觉得没有任何问题，你点进去flink的页面肯定各是各的。 >>> >>> 发自我的iPhone >>> >>>> 在 2019年11月17日，下午2:51，Henry 写道： >>>> >>>> >>>> 大家好，我想请教一个问题哈。 就是我通过 ./flink run -m yarn-cluster -yn 2 -yjm 1024 -ytm 1024 >>>> xxx.jar 的方式提交了两个不同的任务程序，在yarn界面里也能看到两个正在运行的 app ，但是点击 对应的 ApplicationMater >>>> 跳转到 Flink-Dashboard 页面之后，在 Running job 页面只看到一个运行的最后提交的程序呢？ Task Slot 也只用了 >>>> 1 个，这是啥情况呢？ 也木有报错。yarn 页面显示两个任务都是 Running >>>> 状态，而且先提交的哪个程序任务确实是在运行中的，因为数据库中的数据也是在增加呢。 谢谢大家。 >>>> 详情图片如下： >>>> https://img-blog.csdnimg.cn/20191115175027258.png >>>> >>>> >>>> >>>> >>>> >>>> >>>> >>>> >>>> >
Re: 通过 yarn-cluster 提交多个任务，Flink 页面只显示最后一个提交的任务
看了你的截图，链接中是id为0018的application，里面确实只有一个job，另一个job是在id为0019的application里，你变更下链接中的applicationId，应该就能看到另一个作业了 > 在 2019年11月17日，下午4:14，Henry 写道： > > > > 是的，两个程序确实也都在运行，俩程序往数据库里写的数据是不同的，都在更新，所以运行木有问题。但是在 Flink Web 页面里的 Running Job > 中只有最后提交的那个 > 程序，没有先提交的那个程序，确实有问题。您看下那个链接，是我截的图，谢谢。 > > > > > > 在 2019-11-17 16:05:29，18612537...@163.com 写道： >> 提交两个是两个进程，所以是两个job。我觉得没有任何问题，你点进去flink的页面肯定各是各的。 >> >> 发自我的iPhone >> >>> 在 2019年11月17日，下午2:51，Henry 写道： >>> >>> >>> 大家好，我想请教一个问题哈。 就是我通过 ./flink run -m yarn-cluster -yn 2 -yjm 1024 -ytm 1024 >>> xxx.jar 的方式提交了两个不同的任务程序，在yarn界面里也能看到两个正在运行的 app ，但是点击 对应的 ApplicationMater >>> 跳转到 Flink-Dashboard 页面之后，在 Running job 页面只看到一个运行的最后提交的程序呢？ Task Slot 也只用了 1 >>> 个，这是啥情况呢？ 也木有报错。yarn 页面显示两个任务都是 Running >>> 状态，而且先提交的哪个程序任务确实是在运行中的，因为数据库中的数据也是在增加呢。 谢谢大家。 >>> 详情图片如下： >>> https://img-blog.csdnimg.cn/20191115175027258.png >>> >>> >>> >>> >>> >>> >>> >>> >>>
Re: 通过 yarn-cluster 提交多个任务，Flink 页面只显示最后一个提交的任务
我还是没有搞明白你的意思，你job里面已经是两个了。打开每一个都是对应的信息。因为你启动的是同一个class所以相当于是同一个任务只是消费数据不用。你可以换一个class ，不知道是不是我说的这个意思。 发自我的iPhone > 在 2019年11月18日，上午10:06，"lh...@126.com" 写道： > > 提交了两个job，分别在两个不同的application上，注意切换一下flink web dashboard的地址。 > > > > > lh...@126.com > > 发件人： Henry > 发送时间： 2019-11-18 08:59 > 收件人： user-zh > 主题： Re:Re:Re:Re: 通过 yarn-cluster 提交多个任务，Flink 页面只显示最后一个提交的任务 > > 谢谢您的帮助，您贴的图碎了，看不到呢。 然后我按您说的试了一下，还是不行呢，您看我操作的对不对哈。谢谢 > 截图： > https://img-blog.csdnimg.cn/20191118085832554.png > > > > > 在 2019-11-17 16:30:46，"allanQin" <18612537...@163.com> 写道： > > 你的job running > 中确实是两个job，但是name都是一样的，我建议你在启动flink作业时候可以加个参数给你启动的作业起个名字，就可以看出来了。 -ynm > YourJobName,你再观察一下。 > > > > > >> 在 2019-11-17 16:14:32，"Henry" 写道： >> >> >> 是的，两个程序确实也都在运行，俩程序往数据库里写的数据是不同的，都在更新，所以运行木有问题。但是在 Flink Web 页面里的 Running Job >> 中只有最后提交的那个 >> 程序，没有先提交的那个程序，确实有问题。您看下那个链接，是我截的图，谢谢。 >> >> >> >> >> >>> 在 2019-11-17 16:05:29，18612537...@163.com 写道： >>> 提交两个是两个进程，所以是两个job。我觉得没有任何问题，你点进去flink的页面肯定各是各的。 >>> >>> 发自我的iPhone >>> >>>> 在 2019年11月17日，下午2:51，Henry 写道： >>>> >>>> >>>> 大家好，我想请教一个问题哈。 就是我通过 ./flink run -m yarn-cluster -yn 2 -yjm 1024 -ytm 1024 >>>> xxx.jar 的方式提交了两个不同的任务程序，在yarn界面里也能看到两个正在运行的 app ，但是点击 对应的 ApplicationMater >>>> 跳转到 Flink-Dashboard 页面之后，在 Running job 页面只看到一个运行的最后提交的程序呢？ Task Slot 也只用了 >>>> 1 个，这是啥情况呢？ 也木有报错。yarn 页面显示两个任务都是 Running >>>> 状态，而且先提交的哪个程序任务确实是在运行中的，因为数据库中的数据也是在增加呢。 谢谢大家。 >>>> 详情图片如下： >>>> https://img-blog.csdnimg.cn/20191115175027258.png >>>> >>>> >>>> >>>> >>>> >>>> >>>> >>>> >>>> > > > > > > > >
Re: Re: 通过 yarn-cluster 提交多个任务，Flink 页面只显示最后一个提交的任务
提交了两个job，分别在两个不同的application上，注意切换一下flink web dashboard的地址。 lh...@126.com 发件人： Henry 发送时间： 2019-11-18 08:59 收件人： user-zh 主题： Re:Re:Re:Re: 通过 yarn-cluster 提交多个任务，Flink 页面只显示最后一个提交的任务 谢谢您的帮助，您贴的图碎了，看不到呢。 然后我按您说的试了一下，还是不行呢，您看我操作的对不对哈。谢谢 截图： https://img-blog.csdnimg.cn/20191118085832554.png 在 2019-11-17 16:30:46，"allanQin" <18612537...@163.com> 写道： 你的job running 中确实是两个job，但是name都是一样的，我建议你在启动flink作业时候可以加个参数给你启动的作业起个名字，就可以看出来了。 -ynm YourJobName,你再观察一下。 在 2019-11-17 16:14:32，"Henry" 写道： > > >是的，两个程序确实也都在运行，俩程序往数据库里写的数据是不同的，都在更新，所以运行木有问题。但是在 Flink Web 页面里的 Running Job >中只有最后提交的那个 >程序，没有先提交的那个程序，确实有问题。您看下那个链接，是我截的图，谢谢。 > > > > > >在 2019-11-17 16:05:29，18612537...@163.com 写道： >>提交两个是两个进程，所以是两个job。我觉得没有任何问题，你点进去flink的页面肯定各是各的。 >> >>发自我的iPhone >> >>> 在 2019年11月17日，下午2:51，Henry 写道： >>> >>> >>> 大家好，我想请教一个问题哈。 就是我通过 ./flink run -m yarn-cluster -yn 2 -yjm 1024 -ytm 1024 >>> xxx.jar 的方式提交了两个不同的任务程序，在yarn界面里也能看到两个正在运行的 app ，但是点击 对应的 ApplicationMater >>> 跳转到 Flink-Dashboard 页面之后，在 Running job 页面只看到一个运行的最后提交的程序呢？ Task Slot 也只用了 1 >>> 个，这是啥情况呢？ 也木有报错。yarn 页面显示两个任务都是 Running >>> 状态，而且先提交的哪个程序任务确实是在运行中的，因为数据库中的数据也是在增加呢。 谢谢大家。 >>> 详情图片如下： >>> https://img-blog.csdnimg.cn/20191115175027258.png >>> >>> >>> >>> >>> >>> >>> >>> >>>
Re:Re:Re:Re: 通过 yarn-cluster 提交多个任务，Flink 页面只显示最后一个提交的任务
谢谢您的帮助，您贴的图碎了，看不到呢。 然后我按您说的试了一下，还是不行呢，您看我操作的对不对哈。谢谢 截图： https://img-blog.csdnimg.cn/20191118085832554.png 在 2019-11-17 16:30:46，"allanQin" <18612537...@163.com> 写道： 你的job running 中确实是两个job，但是name都是一样的，我建议你在启动flink作业时候可以加个参数给你启动的作业起个名字，就可以看出来了。 -ynm YourJobName,你再观察一下。 在 2019-11-17 16:14:32，"Henry" 写道： > > >是的，两个程序确实也都在运行，俩程序往数据库里写的数据是不同的，都在更新，所以运行木有问题。但是在 Flink Web 页面里的 Running Job >中只有最后提交的那个 >程序，没有先提交的那个程序，确实有问题。您看下那个链接，是我截的图，谢谢。 > > > > > >在 2019-11-17 16:05:29，18612537...@163.com 写道： >>提交两个是两个进程，所以是两个job。我觉得没有任何问题，你点进去flink的页面肯定各是各的。 >> >>发自我的iPhone >> >>> 在 2019年11月17日，下午2:51，Henry 写道： >>> >>> >>> 大家好，我想请教一个问题哈。 就是我通过 ./flink run -m yarn-cluster -yn 2 -yjm 1024 -ytm 1024 >>> xxx.jar 的方式提交了两个不同的任务程序，在yarn界面里也能看到两个正在运行的 app ，但是点击 对应的 ApplicationMater >>> 跳转到 Flink-Dashboard 页面之后，在 Running job 页面只看到一个运行的最后提交的程序呢？ Task Slot 也只用了 1 >>> 个，这是啥情况呢？ 也木有报错。yarn 页面显示两个任务都是 Running >>> 状态，而且先提交的哪个程序任务确实是在运行中的，因为数据库中的数据也是在增加呢。 谢谢大家。 >>> 详情图片如下： >>> https://img-blog.csdnimg.cn/20191115175027258.png >>> >>> >>> >>> >>> >>> >>> >>> >>>
Re:Re:Re: 通过 yarn-cluster 提交多个任务，Flink 页面只显示最后一个提交的任务
你的job running 中确实是两个job，但是name都是一样的，我建议你在启动flink作业时候可以加个参数给你启动的作业起个名字，就可以看出来了。 -ynm YourJobName,你再观察一下。 在 2019-11-17 16:14:32，"Henry" 写道： > > >是的，两个程序确实也都在运行，俩程序往数据库里写的数据是不同的，都在更新，所以运行木有问题。但是在 Flink Web 页面里的 Running Job >中只有最后提交的那个 >程序，没有先提交的那个程序，确实有问题。您看下那个链接，是我截的图，谢谢。 > > > > > >在 2019-11-17 16:05:29，18612537...@163.com 写道： >>提交两个是两个进程，所以是两个job。我觉得没有任何问题，你点进去flink的页面肯定各是各的。 >> >>发自我的iPhone >> >>> 在 2019年11月17日，下午2:51，Henry 写道： >>> >>> >>> 大家好，我想请教一个问题哈。 就是我通过 ./flink run -m yarn-cluster -yn 2 -yjm 1024 -ytm 1024 >>> xxx.jar 的方式提交了两个不同的任务程序，在yarn界面里也能看到两个正在运行的 app ，但是点击 对应的 ApplicationMater >>> 跳转到 Flink-Dashboard 页面之后，在 Running job 页面只看到一个运行的最后提交的程序呢？ Task Slot 也只用了 1 >>> 个，这是啥情况呢？ 也木有报错。yarn 页面显示两个任务都是 Running >>> 状态，而且先提交的哪个程序任务确实是在运行中的，因为数据库中的数据也是在增加呢。 谢谢大家。 >>> 详情图片如下： >>> https://img-blog.csdnimg.cn/20191115175027258.png >>> >>> >>> >>> >>> >>> >>> >>> >>>
Re:Re: 通过 yarn-cluster 提交多个任务，Flink 页面只显示最后一个提交的任务
是的，两个程序确实也都在运行，俩程序往数据库里写的数据是不同的，都在更新，所以运行木有问题。但是在 Flink Web 页面里的 Running Job 中只有最后提交的那个 程序，没有先提交的那个程序，确实有问题。您看下那个链接，是我截的图，谢谢。 在 2019-11-17 16:05:29，18612537...@163.com 写道： >提交两个是两个进程，所以是两个job。我觉得没有任何问题，你点进去flink的页面肯定各是各的。 > >发自我的iPhone > >> 在 2019年11月17日，下午2:51，Henry 写道： >> >> >> 大家好，我想请教一个问题哈。 就是我通过 ./flink run -m yarn-cluster -yn 2 -yjm 1024 -ytm 1024 >> xxx.jar 的方式提交了两个不同的任务程序，在yarn界面里也能看到两个正在运行的 app ，但是点击 对应的 ApplicationMater >> 跳转到 Flink-Dashboard 页面之后，在 Running job 页面只看到一个运行的最后提交的程序呢？ Task Slot 也只用了 1 >> 个，这是啥情况呢？ 也木有报错。yarn 页面显示两个任务都是 Running >> 状态，而且先提交的哪个程序任务确实是在运行中的，因为数据库中的数据也是在增加呢。 谢谢大家。 >> 详情图片如下： >> https://img-blog.csdnimg.cn/20191115175027258.png >> >> >> >> >> >> >> >> >>
Re: 通过 yarn-cluster 提交多个任务，Flink 页面只显示最后一个提交的任务
提交两个是两个进程，所以是两个job。我觉得没有任何问题，你点进去flink的页面肯定各是各的。 发自我的iPhone > 在 2019年11月17日，下午2:51，Henry 写道： > > > 大家好，我想请教一个问题哈。 就是我通过 ./flink run -m yarn-cluster -yn 2 -yjm 1024 -ytm 1024 > xxx.jar 的方式提交了两个不同的任务程序，在yarn界面里也能看到两个正在运行的 app ，但是点击 对应的 ApplicationMater > 跳转到 Flink-Dashboard 页面之后，在 Running job 页面只看到一个运行的最后提交的程序呢？ Task Slot 也只用了 1 > 个，这是啥情况呢？ 也木有报错。yarn 页面显示两个任务都是 Running > 状态，而且先提交的哪个程序任务确实是在运行中的，因为数据库中的数据也是在增加呢。 谢谢大家。 > 详情图片如下： > https://img-blog.csdnimg.cn/20191115175027258.png > > > > > > > > >
通过 yarn-cluster 提交多个任务，Flink 页面只显示最后一个提交的任务
大家好，我想请教一个问题哈。 就是我通过 ./flink run -m yarn-cluster -yn 2 -yjm 1024 -ytm 1024 xxx.jar 的方式提交了两个不同的任务程序，在yarn界面里也能看到两个正在运行的 app ，但是点击 对应的 ApplicationMater 跳转到 Flink-Dashboard 页面之后，在 Running job 页面只看到一个运行的最后提交的程序呢？ Task Slot 也只用了 1 个，这是啥情况呢？ 也木有报错。yarn 页面显示两个任务都是 Running 状态，而且先提交的哪个程序任务确实是在运行中的，因为数据库中的数据也是在增加呢。 谢谢大家。 详情图片如下： https://img-blog.csdnimg.cn/20191115175027258.png
通过 yarn-cluster 提交多个任务，Flink 页面只显示最后一个提交的任务
大家好，我想请教一个问题哈。 就是我通过 ./flink run -m yarn-cluster -yn 2 -yjm 1024 -ytm 1024 xxx.jar 的方式提交了两个不同的任务程序，在yarn界面里也能看到两个正在运行的 app ，但是点击 对应的 ApplicationMater 跳转到 Flink-Dashboard 页面之后，在 Running job 页面只看到一个运行的最后提交的程序呢？ Task Slot 也只用了 1 个，这是啥情况呢？ 也木有报错。yarn 页面显示两个任务都是 Running 状态，而且先提交的哪个程序任务确实是在运行中的，因为数据库中的数据也是在增加呢。 谢谢大家。 详情图片如下： https://img-blog.csdnimg.cn/20191115175027258.png
