Re: 回复: flink sql 如何提高下游并发度?

2022-01-16 文章 venn
flink 1.12 及以上版本  sql kafka sink 支持参数: sink.parallelism  指定 sink 的并行度 On 2022/1/11 17:06, 许友昌 wrote: hi, 设置了parallelism=10 ,实际上是分配了 10 个 slot,flink 是会共享 slot 的,所以 sink 会有 10 线程。 在2022年1月11日 16:53,RS 写道: Hi, 请教下,比如设置了parallelism=10,source kafka的topic分区为3,那source、后面的处理和sink的并发度是3还是10?

回复: flink sql 如何提高下游并发度?

2022-01-11 文章 许友昌
hi, 设置了parallelism=10 ,实际上是分配了 10 个 slot,flink 是会共享 slot 的,所以 sink 会有 10 线程。 在2022年1月11日 16:53,RS 写道: Hi, 请教下,比如设置了parallelism=10,source kafka的topic分区为3,那source、后面的处理和sink的并发度是3还是10? 如果source是10的话,那还有7个线程就空闲了? 在 2022-01-11 11:10:41,"Caizhi Weng" 写道: Hi! 可以设置 parallelism.default 为需要的并发数。

Re: flink sql 如何提高下游并发度?

2022-01-11 文章 Chang Li
可以的,提供一个思路,读取了kafka的数据后,直接输出原生的字节流后,接一层map算子做序列化相关工作,map算子的并发度你可以自己控制,这样kafka拉取就不会是瓶颈,大量的计算工作放到了map中,而map的并发度是可以自己控制的 Jeff 于2022年1月9日周日 19:45写道: > 当source为kafka时,最大并发度由kafka分区决定的, 有没有办法在不增加kafka分区情况下提高整个任务的并发度呢?

回复: flink sql 如何提高下游并发度?

2022-01-11 文章 JasonLee
hi 是 10 目前 source 还不支持单独设置并发度,但是 sink 是支持的,当然如果没有单独设置的话 sink 也是 10 Best JasonLee 在2022年01月11日 16:52,RS 写道: Hi, 请教下,比如设置了parallelism=10,source kafka的topic分区为3,那source、后面的处理和sink的并发度是3还是10? 如果source是10的话,那还有7个线程就空闲了? 在 2022-01-11 11:10:41,"Caizhi Weng" 写道: Hi! 可以设置 parallelism.default

Re: flink sql 如何提高下游并发度?

2022-01-11 文章 chang li
可以的,提供一个思路,读取了kafka的数据后,直接输出原生的字节流后,接一层map算子做序列化相关工作,map算子的并发度你可以自己控制,这样kafka拉取就不会是瓶颈,大量的计算工作放到了map中,而map的并发度是可以自己控制的 Caizhi Weng 于2022年1月11日周二 11:11写道: > Hi! > > 可以设置 parallelism.default 为需要的并发数。 > > Jeff 于2022年1月9日周日 19:44写道: > > > 当source为kafka时,最大并发度由kafka分区决定的,

Re:Re: flink sql 如何提高下游并发度?

2022-01-11 文章 RS
Hi, 请教下,比如设置了parallelism=10,source kafka的topic分区为3,那source、后面的处理和sink的并发度是3还是10? 如果source是10的话,那还有7个线程就空闲了? 在 2022-01-11 11:10:41,"Caizhi Weng" 写道: >Hi! > >可以设置 parallelism.default 为需要的并发数。 > >Jeff 于2022年1月9日周日 19:44写道: > >> 当source为kafka时,最大并发度由kafka分区决定的, 有没有办法在不增加kafka分区情况下提高整个任务的并发度呢?

Re: flink sql 如何提高下游并发度?

2022-01-10 文章 Caizhi Weng
Hi! 可以设置 parallelism.default 为需要的并发数。 Jeff 于2022年1月9日周日 19:44写道: > 当source为kafka时,最大并发度由kafka分区决定的, 有没有办法在不增加kafka分区情况下提高整个任务的并发度呢?

flink sql 如何提高下游并发度?

2022-01-09 文章 Jeff
当source为kafka时,最大并发度由kafka分区决定的, 有没有办法在不增加kafka分区情况下提高整个任务的并发度呢?