Flink1.14资源精调相关了解

2021-09-29 Thread yidan zhao
如题,目前1.14支持精调,但按照我之前对slot的理解,实际flink没有做到mem和cpu的隔离? 难道是理解错了吗。

我之前只把slot理解为对单个TaskManager上线程数的限制,当然考虑到slot sharing
机制,以及单个subtask本身也不一定是单线程(比如存在background线程),这个限制不是绝对数字限制。
但可以认为单个TM有n个slot,就最多能跑n个subtask pipeline。 但实际上slot与slot之间的mem、cpu是没有区分的。

如上理解有问题吗。


Re: Flink1.14资源精调相关了解

2021-09-29 Thread yidan zhao
参考Flink文档
https://nightlies.apache.org/flink/flink-docs-release-1.14/docs/concepts/flink-architecture/#task-slots-and-resources
中,Task Slots and Resources部分。
这部分讲slot对cpu无隔离,mem也只是对managed mem限制。
所以新版提供的精调的slot,只是每个slot可以使用不同的cpu+mem的数字,实际还是没隔离。 只能说从调度层面作为一个新的分配方案。
也即是slot仍然只有调度层的意义,并没有资源层面的含义。



yidan zhao  于2021年9月30日周四 上午11:14写道:

> 如题,目前1.14支持精调,但按照我之前对slot的理解,实际flink没有做到mem和cpu的隔离? 难道是理解错了吗。
>
> 我之前只把slot理解为对单个TaskManager上线程数的限制,当然考虑到slot sharing
> 机制,以及单个subtask本身也不一定是单线程(比如存在background线程),这个限制不是绝对数字限制。
> 但可以认为单个TM有n个slot,就最多能跑n个subtask pipeline。 但实际上slot与slot之间的mem、cpu是没有区分的。
>
> 如上理解有问题吗。
>