关于算子的并行度和 slot 可以看下文章 :
http://www.54tianzhisheng.cn/2019/01/14/Flink-parallelism-slot/
ddwcg <3149768...@qq.com> 于2019年8月29日周四 上午10:18写道:
> hi,
> 请问在作业启动时设置的并行度,和后面算子的并行度是什么关系?
>
> 比如启动时设置为1,map算子设置为5,map(...).setParallelism(5),这个算子并行度的设置会起作用吗(因为它大于全局设置的1)?
> 启动时设置的并行数是slot的个数,每个slot的资源是固定的(比如是1
个slot。
>> flink sql无法设置并行度。
>>
>>
>>
>> pengcheng...@bonc.com.cn
>>
>> 发件人: ddwcg
>> 发送时间: 2019-08-29 10:18
>> 收件人: user-zh
>> 主题: 全局并行度和算子并行度的关系
>> hi,
>> 请问在作业启动时设置的并行度,和后面算子的并行度是什么关系?
>> 比如启动时设置为1,map算子设置为5,map(...).setP
019-08-29 10:18
> 收件人: user-zh
> 主题: 全局并行度和算子并行度的关系
> hi,
> 请问在作业启动时设置的并行度,和后面算子的并行度是什么关系?
> 比如启动时设置为1,map算子设置为5,map(...).setParallelism(5),这个算子并行度的设置会起作用吗(因为它大于全局设置的1)?
> 启动时设置的并行数是slot的个数,每个slot的资源是固定的(比如是1G内存),那么后面的算子增加了并行度,资源怎么划分?
>
> 另外flink sql的并行度是怎么设置的,我没有发现有setParallelism,只有一个最大并行度的设置:setMaxParallelism()
>
>
>
> 谢谢
>
>
>
>
>
你好,以我的理解,并行度的优先级setParallelism>命令>配置文件。
每个算子有多个并行度的话,每个并行度占一个slot。
flink sql无法设置并行度。
pengcheng...@bonc.com.cn
发件人: ddwcg
发送时间: 2019-08-29 10:18
收件人: user-zh
主题: 全局并行度和算子并行度的关系
hi,
请问在作业启动时设置的并行度,和后面算子的并行度是什么关系?
比如启动时设置为1,map算子设置为5,map(...).setParallelism(5),这个算子并行度的设置会起作用吗(因为它大于全局设置的1)?
hi,
请问在作业启动时设置的并行度,和后面算子的并行度是什么关系?
比如启动时设置为1,map算子设置为5,map(...).setParallelism(5),这个算子并行度的设置会起作用吗(因为它大于全局设置的1)?
启动时设置的并行数是slot的个数,每个slot的资源是固定的(比如是1G内存),那么后面的算子增加了并行度,资源怎么划分?
另外flink sql的并行度是怎么设置的,我没有发现有setParallelism,只有一个最大并行度的设置:setMaxParallelism()
谢谢