您好,目前flinkSQL KafkaConnector目前不支持Source算子并行度配置以及数据分发策略选择:
导致的问题:
1、当并行度 > source中间件消息分区时, 超出的部分会空跑占用资源
2、假设: 并行度>消息分区, source vertex: Source: TableSourceScan->Calc(select…);
当Calc(select..)为cpu密集(json解析)算子,其将会成为任务的性能瓶颈,Calc算子无法享受到扩容带来的资源(超出kafka分区的并发没有数据流入)。
请问下目前社区有没有现有的 / 计划中的解决方案?
您好,目前flinkSQL KafkaConnector目前不支持Source算子并行度配置以及数据分发策略选择:
导致的问题:
1、当并行度 > source中间件消息分区时, 超出的部分会空跑占用资源
2、假设: 并行度>消息分区, source vertex: Source: TableSourceScan->Calc(select…);
当Calc(select..)为cpu密集(json解析)算子,其将会成为任务的性能瓶颈,Calc算子无法享受到扩容带来的资源(超出kafka分区的并发没有数据流入)。
请问下目前社区有没有现有的 / 计划中的解决方案?
您好,目前flinkSQL KafkaConnector目前不支持Source算子并行度配置以及数据分发策略选择:
导致的问题:
1、当并行度 > source中间件消息分区时, 超出的部分会空跑占用资源
2、假设: 并行度>消息分区, source vertex: Source: TableSourceScan->Calc(select…);
当Calc(select..)为cpu密集(json解析)算子,其将会成为任务的性能瓶颈,Calc算子无法享受到扩容带来的资源(超出kafka分区的并发没有数据流入)。
请问下目前社区有没有现有的 / 计划中的解决方案?