hi zilong:
通过process提交任务以后,通过rest 
api,如何知道哪一个是我提交的呢?如果这时有多个请求过来同时都提交了任务,怎么知道rest返回的application应该与哪一次提交对应呢?


 原始邮件 
发件人: zilong xiao<acidzz...@gmail.com>
收件人: user-zh<user-zh@flink.apache.org>
发送时间: 2020年9月25日(周五) 16:55
主题: Re: 怎么样在Flink中使用java代码提交job到yarn


我知道呀,你不是从输出里抠的嘛?你想要更优雅的方式可以用rest api啊,这些信息都是可以拿到的 xiao cai <flin...@163.com> 
于2020年9月25日周五 下午4:53写道: > hi zilong: > 
你说的这些信息我目前都能拿到,已经实现了。只是实现的方式很不优雅,而且提交的速度很慢。 > > > 原始邮件 > 发件人: zilong 
xiao<acidzz...@gmail.com> > 收件人: user-zh<user-zh@flink.apache.org> > 发送时间: 
2020年9月25日(周五) 16:48 > 主题: Re: 怎么样在Flink中使用java代码提交job到yarn > > > 
JobId是说Flink的JobId还是yarn上面的application ID呢?containerID可以通过yarn rest api拿到呀 > 
xiao cai <flin...@163.com> 于2020年9月25日周五 下午4:43写道: > > > 
使用process没办法拿到当前提交任务的JobId和提交到Yarn上的对应的containerId,自能从标准输出中使用正则解析出来。我们目前使用的就是这种方式,已经实现了。但是这样很不优雅,而且提交的速度也会比较慢。
 > > > > 原始邮件 > 发件人: zilong xiao<acidzz...@gmail.com> > 收件人: user-zh< > 
user-zh@flink.apache.org> > 发送时间: 2020年9月25日(周五) 16:32 > 主题: Re: > 
怎么样在Flink中使用java代码提交job到yarn > > > > 
Java程序用process调用脚本提交任务没啥问题吧,获取jobId&containerId的问题,我理解可以用yarn rest api & > > 
flink rest api来完成,希望对你有帮助,祝好~ xiao cai <flin...@163.com> 于2020年9月25日周五 > > 
下午4:23写道: > Hi all: > 大家好,我目前遇到一个flink 任务提交方面的困扰: > > > 
想要在自己的项目中(springboot)提交flink > > > 
job到yarn上。目前采用的方式是process类在本地起进程,调用bin/flink来启动。这样不是很优雅,而且比较难获取到提交的jobId和containerId。看到网上有博客使用ClusterClient的方式来提交,但是遇到了classpath的问题,会缺失一些FLINK_HOME/lib下的jar包
 > > > 所以我想问,应该如何在自己的应用中提交任务到yarn,既能拿到任务信息,又可以解决classpath为指定带来的困扰。 > 非常感谢 > > > 
> > best, > xiao

回复