flinksql source 算子并行度与数据分发策略

2021-12-13 文章 janke
您好,目前flinkSQL KafkaConnector目前不支持Source算子并行度配置以及数据分发策略选择: 导致的问题: 1、当并行度 > source中间件消息分区时, 超出的部分会空跑占用资源 2、假设: 并行度>消息分区, source vertex: Source: TableSourceScan->Calc(select…); 当Calc(select..)为cpu密集(json解析)算子,其将会成为任务的性能瓶颈,Calc算子无法享受到扩容带来的资源(超出kafka分区的并发没有数据流入)。 请问下目前社区有没有现有的 / 计划中的解决方案?

flinksql source 算子并行度与数据分发策略

2021-12-13 文章 吴Janick
您好,目前flinkSQL KafkaConnector目前不支持Source算子并行度配置以及数据分发策略选择: 导致的问题: 1、当并行度 > source中间件消息分区时, 超出的部分会空跑占用资源 2、假设: 并行度>消息分区, source vertex: Source: TableSourceScan->Calc(select…); 当Calc(select..)为cpu密集(json解析)算子,其将会成为任务的性能瓶颈,Calc算子无法享受到扩容带来的资源(超出kafka分区的并发没有数据流入)。 请问下目前社区有没有现有的 / 计划中的解决方案?

flinksql source 算子并行度与数据分发策略

2021-12-13 文章 吴Janick
您好,目前flinkSQL KafkaConnector目前不支持Source算子并行度配置以及数据分发策略选择: 导致的问题: 1、当并行度 > source中间件消息分区时, 超出的部分会空跑占用资源 2、假设: 并行度>消息分区, source vertex: Source: TableSourceScan->Calc(select…); 当Calc(select..)为cpu密集(json解析)算子,其将会成为任务的性能瓶颈,Calc算子无法享受到扩容带来的资源(超出kafka分区的并发没有数据流入)。 请问下目前社区有没有现有的 / 计划中的解决方案?