还有个问题。对于window算子来说,keyBy的partition的最大并行度会设置为下游算子的最大并行度。
然后假设我window的并行度为30,那么默认情况window的最大并行度是128。我在想,如果按照平均考虑,这种情况是不是从机制上就已经有大概率会导致数据倾斜了呢?设置成32对于128才可以均衡不是吗。

Shengkai Fang <fskm...@gmail.com> 于2020年12月27日周日 下午3:46写道:

> 可以通过该配置[1]来设置
>
> [1]
>
> https://ci.apache.org/projects/flink/flink-docs-master/dev/table/config.html#table-exec-resource-default-parallelism
>
> 赵一旦 <hinobl...@gmail.com> 于2020年12月27日周日 下午12:44写道:
>
> > 了解下多少数据量呀,128的并发其实很高了感觉。
> >
> > guaishushu1...@163.com <guaishushu1...@163.com> 于2020年12月26日周六 下午5:39写道:
> >
> > >     Flink
> > >
> >
> SQL中Source和sink可以通过修改connector配置实现并发度配置,而其他算子的并发度都是根据Source并发度来设置的,这样最多是128个并发度。但是有些算子做聚合等处理,128并发明显不够这个应该怎么解决呢?支持通过配置设置其他算子并发度吗?
> > >
> > >
> > >
> > > guaishushu1...@163.com
> > >
> >
>

回复