flink sql 并发数问题

2021-02-24 Thread Jeff
hi all, 用flink sql消费kafka数据,有效并发数是由kafka分区数来决定的,请问有什么方法提高有效并发数吗? 因为有一个UDF是请求python http服务,速度不快,有没有方法单独提高这一块的并发数呢?

Re: flink sql 并发数问题

2021-02-25 Thread Smile
Hi Jeff, 对于 SQL,现在只能设置整个 SQL 的并发,不能单独提高某个算子的并发。 不过可以考虑把消费 Kafka 的部分用 DataStream 来实现,然后再把 DataStream 转成 Table 去跑 SQL。这样消费 Kafka 的并发和 SQL 的并发就可以分开来设置了。 还有一个想法是如果你的 Kafka Source 到 UDF 之间有 hash (比如 Group By)之类的重分发的逻辑,是否可以忽略 Kafka 的分区数直接提高整个的并发?这样重分发后面的算子都是有效并发,只有重分发之前会有一些无效实例,不过这个方式不是很推荐,低版本可能会有算子状态变