Re:Flink消费kafka，突然间任务输出结果从原来的每秒几十万降低到几万每秒

Tue, 29 Sep 2020 05:59:40 -0700 


Hi Yang Peng:
根据你的描述，可以猜测瓶颈是在 Source 上，有可能以下情况：
1. Kafka 集群和Flink 集群之间的带宽被其它打满了。
2. Source 的序列化耗时严重，导致拉取变慢。
可以尝试着扩kafka 分区，加大Source并发看下。
Best，
Hailong Wang

在 2020-09-29 19:44:44，"Yang Peng" <yangpengklf...@gmail.com> 写道：
>请教大家一个问题，flink实时任务消费kafka写入到kafka，Flink版本是1.9.1 线上kafka集群为1.1.1
>kafka集群为容器化集群部署在K8s上，任务运行了很久 今天突然发现任务的数据产出降低了很多，发现cp 没有问题
>kafka消费没有积压，也没有反压， 也没有任何异常日志，kafka集群也没有异常，flink集群也没有异常，但是发现监控上tm的cpu负载也降低了
>tm上网卡流量也降低了，除此之外没有其他异常信息，大家又遇到这种情况的吗、






















					回复