hi all
最近遇到一个问题,flink消费 kafka,kafka单条 msg 大概在 7kb(json 格式,value值大),流量较大,很快会产生堆积。处理逻辑已经过调优,目前的瓶颈是在 poll 消息的时候,1w条消息(总共70mb)大概要3s才能拉取结束,已经尝试调节过consumer配置,没有较好的性能提升,请问有较好解决的方案吗? props.put("key.deserializer", "org.apache.kafka.common.serialization.StringDeserializer"); props.put("value.deserializer", "org.apache.kafka.common.serialization.StringDeserializer"); props.put(ConsumerConfig.MAX_PARTITION_FETCH_BYTES_CONFIG, "10485760"); //10m props.put(ConsumerConfig.FETCH_MAX_WAIT_MS_CONFIG, "1000"); props.put(ConsumerConfig.MAX_POLL_RECORDS_CONFIG, "1000"); | | xuhaiLong | | xiagu...@163.com |