Re: 代码中如何取消正在运行的Flink Streaming作业

2020-07-13 文章 Congxian Qiu
Hi 如果可以的话,建议先调用 RestClient 的 stop 等命令(这样可以在最后做一次 savepoint,或者 checkpoint -- 这个 FLINK-12619 想做),然后失败再使用 yarn 的 kill 命令,这样能够减少后续启动时的回放数据量 Best, Congxian zhisheng 于2020年7月14日周二 下午12:53写道: > 如果是 on yarn 的话,也可以直接调用 yarn 的 kill 命令停止作业 > > Jeff Zhang 于2020年7月11日周六 下午11:23写道: > > > Zeppelin

Re: 代码中如何取消正在运行的Flink Streaming作业

2020-07-13 文章 zhisheng
如果是 on yarn 的话,也可以直接调用 yarn 的 kill 命令停止作业 Jeff Zhang 于2020年7月11日周六 下午11:23写道: > Zeppelin 能够帮你提交和cancel job,就是通过上面jianxu说的ClusterClient > api来做到的,对zeppelin感兴趣的话,可以参考这个视频 > > https://www.bilibili.com/video/BV1Te411W73b?p=21 > > > jianxu 于2020年7月11日周六 下午4:52写道: > > > Hi: > > > > >

Re: 代码中如何取消正在运行的Flink Streaming作业

2020-07-11 文章 Jeff Zhang
Zeppelin 能够帮你提交和cancel job,就是通过上面jianxu说的ClusterClient api来做到的,对zeppelin感兴趣的话,可以参考这个视频 https://www.bilibili.com/video/BV1Te411W73b?p=21 jianxu 于2020年7月11日周六 下午4:52写道: > Hi: > > 我想,你可能打算通过API的方式来取消正在运行的流任务。Flink任务提交时需要构建ClusterClient,提交成功后会返回任务对应的JobId。任务取消时,通过调用ClusterClient的cancel(JobID >

回复: 代码中如何取消正在运行的Flink Streaming作业

2020-07-11 文章 jianxu
Hi: 我想,你可能打算通过API的方式来取消正在运行的流任务。Flink任务提交时需要构建ClusterClient,提交成功后会返回任务对应的JobId。任务取消时,通过调用ClusterClient的cancel(JobID jobId)取消流任务。 Flink源码可以看看 CliFrontend[1]中的逻辑,如果觉得比较麻烦可以参考https://github.com/todd5167/flink-spark-submiter项目的任务提交部分,取消任务时构建ClusterClient即可。 | | jianxu | |

Re: 代码中如何取消正在运行的Flink Streaming作业

2020-07-11 文章 Congxian Qiu
Hi 如果你是想做一个作业管理的平台,可以尝试看一下 CliFrontend[1] 中相关的逻辑,对于 On Yarn 的作业,简单地说你需要能够正确的初始化一个 client 和 Yarn RM 交互,然后你需要知道 applicationId,另外你还需要知道 flink 的 JobId,接下来就是调用 Flink 的接口了 如果像更多的了解参数如从和命令行传到 java 代码的,你可以自己写一个单元测试,单步调试一下整个流程。 [1]

Re: 代码中如何取消正在运行的Flink Streaming作业

2020-07-08 文章 godfrey he
可以通过 StreamExecutionEnvironment#executeAsync 提交作业,返回 JobClient [1], 通过 JobClient 可以 cancel 作业,获取 job status。 [1] https://cwiki.apache.org/confluence/display/FLINK/FLIP-74%3A+Flink+JobClient+API Best, Godfrey Evan 于2020年7月9日周四 上午9:40写道: > 这个问题之前看到过有人在问,但是没有看到答案,我想问一下,Flink Streaming >

代码中如何取消正在运行的Flink Streaming作业

2020-07-08 文章 Evan
这个问题之前看到过有人在问,但是没有看到答案,我想问一下,Flink Streaming API有没有提供类似的接口,调用后就能停止这个Stream作业呢?