Re:Re: Re: Re: Re: Re: 修改flink的任务调度

2021-01-06 文章 penguin.
能否 将集群部署在yarn上,然后通过实现yarn的接口来做呢?好像yarn是提供了一个可插拔的接口进行资源调度之类的。 在 2021-01-07 13:05:59,"赵一旦" 写道: >没有的。 > >penguin. 于2021年1月7日周四 下午1:04写道: > >> 赵一旦: >> 所以目前是否有办法来实现在提交任务后,将这个任务的subtask调度到指定机器的某个slot来执行呢。 >> >> >> >> >> >> >> >> >> >> >> >> >> >> >> 在 2021-01-07 12:57:35,"赵一旦" 写道: >>

Re: Re: Re: Re: Re: 修改flink的任务调度

2021-01-06 文章 赵一旦
没有的。 penguin. 于2021年1月7日周四 下午1:04写道: > 赵一旦: > 所以目前是否有办法来实现在提交任务后,将这个任务的subtask调度到指定机器的某个slot来执行呢。 > > > > > > > > > > > > > > > 在 2021-01-07 12:57:35,"赵一旦" 写道: > >不一样的哈。不是一个层次的东西。 > >调度平台指的是在指定时间自动帮你提交某个任务,或者每天定时提交某个任务等。 > > > >后者是flink内部的机制,指提交任务后,这个任务的每个subtask应该使用哪台机器哪个slot去执行。 > > >

Re:Re: Re: Re: Re: 修改flink的任务调度

2021-01-06 文章 penguin.
赵一旦: 所以目前是否有办法来实现在提交任务后,将这个任务的subtask调度到指定机器的某个slot来执行呢。 在 2021-01-07 12:57:35,"赵一旦" 写道: >不一样的哈。不是一个层次的东西。 >调度平台指的是在指定时间自动帮你提交某个任务,或者每天定时提交某个任务等。 > >后者是flink内部的机制,指提交任务后,这个任务的每个subtask应该使用哪台机器哪个slot去执行。 > >penguin. 于2021年1月7日周四 下午12:50写道: > >> 赵一旦: >>

Re: Re: Re: Re: 修改flink的任务调度

2021-01-06 文章 赵一旦
不一样的哈。不是一个层次的东西。 调度平台指的是在指定时间自动帮你提交某个任务,或者每天定时提交某个任务等。 后者是flink内部的机制,指提交任务后,这个任务的每个subtask应该使用哪台机器哪个slot去执行。 penguin. 于2021年1月7日周四 下午12:50写道: > 赵一旦: > 你说的任务调度平台是指通过这种平台来完全控制flink中的task到具体某个节点的调度吗? > 我想的是flink自己内部的task到节点的调度。比如说通过修改flink现在的调度部分的代码来实现。 > 是不是这两种都可以用来实现 根据我们自己的需求来决定将task具体调度哪个节点中。

Re: Re: Re: 修改flink的任务调度

2021-01-06 文章 赵一旦
你说的是任务调度有2层含义。一种任务调度平台(这个很常见)。还是flink自身的task的schedule,这个是很复杂。 penguin. 于2021年1月7日周四 上午10:32写道: > > > > 我在知网的一篇论文中看到有作者做的flink任务调度,但是发了邮件很久也没人回复。 > > > > > > > > > > > > > > > 在 2021-01-07 10:21:27,"赵一旦" 写道: > >是的,之前有人给过我回复,说当前flink的调度信息不足,导致无法做到很理想的调度。 > > > >penguin. 于2021年1月7日周四 上午10:11写道: