能否 将集群部署在yarn上,然后通过实现yarn的接口来做呢?好像yarn是提供了一个可插拔的接口进行资源调度之类的。
在 2021-01-07 13:05:59,"赵一旦" 写道:
>没有的。
>
>penguin. 于2021年1月7日周四 下午1:04写道:
>
>> 赵一旦:
>> 所以目前是否有办法来实现在提交任务后,将这个任务的subtask调度到指定机器的某个slot来执行呢。
>>
>>
>>
>>
>>
>>
>>
>>
>>
>>
>>
>>
>>
>>
>> 在 2021-01-07 12:57:35,"赵一旦" 写道:
>> >不一样的哈
没有的。
penguin. 于2021年1月7日周四 下午1:04写道:
> 赵一旦:
> 所以目前是否有办法来实现在提交任务后,将这个任务的subtask调度到指定机器的某个slot来执行呢。
>
>
>
>
>
>
>
>
>
>
>
>
>
>
> 在 2021-01-07 12:57:35,"赵一旦" 写道:
> >不一样的哈。不是一个层次的东西。
> >调度平台指的是在指定时间自动帮你提交某个任务,或者每天定时提交某个任务等。
> >
> >后者是flink内部的机制,指提交任务后,这个任务的每个subtask应该使用哪台机器哪个slot去执行。
> >
> >pengui
赵一旦:
所以目前是否有办法来实现在提交任务后,将这个任务的subtask调度到指定机器的某个slot来执行呢。
在 2021-01-07 12:57:35,"赵一旦" 写道:
>不一样的哈。不是一个层次的东西。
>调度平台指的是在指定时间自动帮你提交某个任务,或者每天定时提交某个任务等。
>
>后者是flink内部的机制,指提交任务后,这个任务的每个subtask应该使用哪台机器哪个slot去执行。
>
>penguin. 于2021年1月7日周四 下午12:50写道:
>
>> 赵一旦:
>> 你说的任务调度平台是指通过这种平台来完全控制flink中的ta
不一样的哈。不是一个层次的东西。
调度平台指的是在指定时间自动帮你提交某个任务,或者每天定时提交某个任务等。
后者是flink内部的机制,指提交任务后,这个任务的每个subtask应该使用哪台机器哪个slot去执行。
penguin. 于2021年1月7日周四 下午12:50写道:
> 赵一旦:
> 你说的任务调度平台是指通过这种平台来完全控制flink中的task到具体某个节点的调度吗?
> 我想的是flink自己内部的task到节点的调度。比如说通过修改flink现在的调度部分的代码来实现。
> 是不是这两种都可以用来实现 根据我们自己的需求来决定将task具体调度哪个节点中。
赵一旦:
你说的任务调度平台是指通过这种平台来完全控制flink中的task到具体某个节点的调度吗?
我想的是flink自己内部的task到节点的调度。比如说通过修改flink现在的调度部分的代码来实现。
是不是这两种都可以用来实现 根据我们自己的需求来决定将task具体调度哪个节点中。
在 2021-01-07 12:24:42,"赵一旦" 写道:
>你说的是任务调度有2层含义。一种任务调度平台(这个很常见)。还是flink自身的task的schedule,这个是很复杂。
>
>penguin. 于2021年1月7日周四 上午10:32写道:
>
>>
>>
你说的是任务调度有2层含义。一种任务调度平台(这个很常见)。还是flink自身的task的schedule,这个是很复杂。
penguin. 于2021年1月7日周四 上午10:32写道:
>
>
>
> 我在知网的一篇论文中看到有作者做的flink任务调度,但是发了邮件很久也没人回复。
>
>
>
>
>
>
>
>
>
>
>
>
>
>
> 在 2021-01-07 10:21:27,"赵一旦" 写道:
> >是的,之前有人给过我回复,说当前flink的调度信息不足,导致无法做到很理想的调度。
> >
> >penguin. 于2021年1月7日周四 上午10:11写道:
>
是的,之前有人给过我回复,说当前flink的调度信息不足,导致无法做到很理想的调度。
penguin. 于2021年1月7日周四 上午10:11写道:
>
> 我在jira上看到好像有人在做,但是好像无法获取到更多的信息。也不知道他们是怎么做的。主要应该是找到进行任务调度那块的代码,不过源码注释好像很少,很困难。
>
>
>
>
>
>
>
>
>
> 在 2021-01-06 13:06:20,"赵一旦" 写道:
> >我不是很清楚,不过难度应该很大,不然社区早改了。当前任务经常导致机器资源不均衡,这个问题很常见。
> >
> >penguin. 于2021年1月6日周三 上午1