感谢回复,我重启完任务之后消费恢复了,我查看了我们的监控(监控kafkamanager上groupid消费速度)发现消费速度并没有下降,目前分区是90 flinkkafkaconsumer消费的并行度也是90 应该不是分区的问题,至于2这个source序列化耗时严重这个有什么方式可以查看吗?
hailongwang <18868816...@163.com> 于2020年9月29日周二 下午8:59写道: > > > > Hi Yang Peng: > 根据你的描述,可以猜测瓶颈是在 Source 上,有可能以下情况: > 1. Kafka 集群和Flink 集群之间的带宽被其它打满了。 > 2. Source 的序列化耗时严重,导致拉取变慢。 > 可以尝试着扩kafka 分区,加大Source并发看下。 > Best, > Hailong Wang > > 在 2020-09-29 19:44:44,"Yang Peng" <yangpengklf...@gmail.com> 写道: > >请教大家一个问题,flink实时任务消费kafka写入到kafka,Flink版本是1.9.1 线上kafka集群为1.1.1 > >kafka集群为容器化集群部署在K8s上,任务运行了很久 今天突然发现任务的数据产出降低了很多,发现cp 没有问题 > >kafka消费没有积压,也没有反压, 也没有任何异常日志,kafka集群也没有异常,flink集群也没有异常,但是发现监控上tm的cpu负载也降低了 > >tm上网卡流量也降低了,除此之外没有其他异常信息,大家又遇到这种情况的吗、 >