Re: 全局并行度和算子并行度的关系

2019-08-31 文章 zhisheng
关于算子的并行度和 slot 可以看下文章 : http://www.54tianzhisheng.cn/2019/01/14/Flink-parallelism-slot/ ddwcg <3149768...@qq.com> 于2019年8月29日周四 上午10:18写道: > hi, > 请问在作业启动时设置的并行度,和后面算子的并行度是什么关系? > > 比如启动时设置为1,map算子设置为5,map(...).setParallelism(5),这个算子并行度的设置会起作用吗(因为它大于全局设置的1)? > 启动时设置的并行数是slot的个数,每个slot的资源是固定的(比如是1

Re:Re: 全局并行度和算子并行度的关系

2019-08-31 文章 高飞龙
个slot。 >> flink sql无法设置并行度。 >> >> >> >> pengcheng...@bonc.com.cn >> >> 发件人: ddwcg >> 发送时间: 2019-08-29 10:18 >> 收件人: user-zh >> 主题: 全局并行度和算子并行度的关系 >> hi, >> 请问在作业启动时设置的并行度,和后面算子的并行度是什么关系? >> 比如启动时设置为1,map算子设置为5,map(...).setP

Re: 全局并行度和算子并行度的关系

2019-08-28 文章 ddwcg
019-08-29 10:18 > 收件人: user-zh > 主题: 全局并行度和算子并行度的关系 > hi, > 请问在作业启动时设置的并行度,和后面算子的并行度是什么关系? > 比如启动时设置为1,map算子设置为5,map(...).setParallelism(5),这个算子并行度的设置会起作用吗(因为它大于全局设置的1)? > 启动时设置的并行数是slot的个数,每个slot的资源是固定的(比如是1G内存),那么后面的算子增加了并行度,资源怎么划分? > > 另外flink sql的并行度是怎么设置的,我没有发现有setParallelism,只有一个最大并行度的设置:setMaxParallelism() > > > > 谢谢 > > > > >

回复: 全局并行度和算子并行度的关系

2019-08-28 文章 pengcheng...@bonc.com.cn
你好,以我的理解,并行度的优先级setParallelism>命令>配置文件。 每个算子有多个并行度的话,每个并行度占一个slot。 flink sql无法设置并行度。 pengcheng...@bonc.com.cn 发件人: ddwcg 发送时间: 2019-08-29 10:18 收件人: user-zh 主题: 全局并行度和算子并行度的关系 hi, 请问在作业启动时设置的并行度,和后面算子的并行度是什么关系? 比如启动时设置为1,map算子设置为5,map(...).setParallelism(5),这个算子并行度的设置会起作用吗(因为它大于全局设置的1)?

全局并行度和算子并行度的关系

2019-08-28 文章 ddwcg
hi, 请问在作业启动时设置的并行度,和后面算子的并行度是什么关系? 比如启动时设置为1,map算子设置为5,map(...).setParallelism(5),这个算子并行度的设置会起作用吗(因为它大于全局设置的1)? 启动时设置的并行数是slot的个数,每个slot的资源是固定的(比如是1G内存),那么后面的算子增加了并行度,资源怎么划分? 另外flink sql的并行度是怎么设置的,我没有发现有setParallelism,只有一个最大并行度的设置:setMaxParallelism() 谢谢