Re:Re: Re: Re: Re: Re: 修改flink的任务调度

2021-01-06 文章 penguin.
能否 将集群部署在yarn上,然后通过实现yarn的接口来做呢?好像yarn是提供了一个可插拔的接口进行资源调度之类的。 在 2021-01-07 13:05:59,"赵一旦" 写道: >没有的。 > >penguin. 于2021年1月7日周四 下午1:04写道: > >> 赵一旦: >> 所以目前是否有办法来实现在提交任务后,将这个任务的subtask调度到指定机器的某个slot来执行呢。 >> >> >> >> >> >> >> >> >> >> >> >> >> >> >> 在 2021-01-07 12:57:35,"赵一旦" 写道: >> >不一样的哈

Re: Re: Re: Re: Re: 修改flink的任务调度

2021-01-06 文章 赵一旦
没有的。 penguin. 于2021年1月7日周四 下午1:04写道: > 赵一旦: > 所以目前是否有办法来实现在提交任务后,将这个任务的subtask调度到指定机器的某个slot来执行呢。 > > > > > > > > > > > > > > > 在 2021-01-07 12:57:35,"赵一旦" 写道: > >不一样的哈。不是一个层次的东西。 > >调度平台指的是在指定时间自动帮你提交某个任务,或者每天定时提交某个任务等。 > > > >后者是flink内部的机制,指提交任务后,这个任务的每个subtask应该使用哪台机器哪个slot去执行。 > > > >pengui

Re:Re: Re: Re: Re: 修改flink的任务调度

2021-01-06 文章 penguin.
赵一旦: 所以目前是否有办法来实现在提交任务后,将这个任务的subtask调度到指定机器的某个slot来执行呢。 在 2021-01-07 12:57:35,"赵一旦" 写道: >不一样的哈。不是一个层次的东西。 >调度平台指的是在指定时间自动帮你提交某个任务,或者每天定时提交某个任务等。 > >后者是flink内部的机制,指提交任务后,这个任务的每个subtask应该使用哪台机器哪个slot去执行。 > >penguin. 于2021年1月7日周四 下午12:50写道: > >> 赵一旦: >> 你说的任务调度平台是指通过这种平台来完全控制flink中的ta

Re: Re: Re: Re: 修改flink的任务调度

2021-01-06 文章 赵一旦
不一样的哈。不是一个层次的东西。 调度平台指的是在指定时间自动帮你提交某个任务,或者每天定时提交某个任务等。 后者是flink内部的机制,指提交任务后,这个任务的每个subtask应该使用哪台机器哪个slot去执行。 penguin. 于2021年1月7日周四 下午12:50写道: > 赵一旦: > 你说的任务调度平台是指通过这种平台来完全控制flink中的task到具体某个节点的调度吗? > 我想的是flink自己内部的task到节点的调度。比如说通过修改flink现在的调度部分的代码来实现。 > 是不是这两种都可以用来实现 根据我们自己的需求来决定将task具体调度哪个节点中。

Re:Re: Re: Re: 修改flink的任务调度

2021-01-06 文章 penguin.
赵一旦: 你说的任务调度平台是指通过这种平台来完全控制flink中的task到具体某个节点的调度吗? 我想的是flink自己内部的task到节点的调度。比如说通过修改flink现在的调度部分的代码来实现。 是不是这两种都可以用来实现 根据我们自己的需求来决定将task具体调度哪个节点中。 在 2021-01-07 12:24:42,"赵一旦" 写道: >你说的是任务调度有2层含义。一种任务调度平台(这个很常见)。还是flink自身的task的schedule,这个是很复杂。 > >penguin. 于2021年1月7日周四 上午10:32写道: > >> >>

Re: Re: Re: 修改flink的任务调度

2021-01-06 文章 赵一旦
你说的是任务调度有2层含义。一种任务调度平台(这个很常见)。还是flink自身的task的schedule,这个是很复杂。 penguin. 于2021年1月7日周四 上午10:32写道: > > > > 我在知网的一篇论文中看到有作者做的flink任务调度,但是发了邮件很久也没人回复。 > > > > > > > > > > > > > > > 在 2021-01-07 10:21:27,"赵一旦" 写道: > >是的,之前有人给过我回复,说当前flink的调度信息不足,导致无法做到很理想的调度。 > > > >penguin. 于2021年1月7日周四 上午10:11写道: >

Re: Re: 修改flink的任务调度

2021-01-06 文章 赵一旦
是的,之前有人给过我回复,说当前flink的调度信息不足,导致无法做到很理想的调度。 penguin. 于2021年1月7日周四 上午10:11写道: > > 我在jira上看到好像有人在做,但是好像无法获取到更多的信息。也不知道他们是怎么做的。主要应该是找到进行任务调度那块的代码,不过源码注释好像很少,很困难。 > > > > > > > > > > 在 2021-01-06 13:06:20,"赵一旦" 写道: > >我不是很清楚,不过难度应该很大,不然社区早改了。当前任务经常导致机器资源不均衡,这个问题很常见。 > > > >penguin. 于2021年1月6日周三 上午1