就是一个数据同步作业，从kafka写到mongodb，上游kafka有32个分区，所以作业开了32个并行度，写mongo侧倒没关注过是否出现反压，后续再出现可以看看，这种消费不均衡有时会自动消失。我在想会不会是跟节点网络带宽波动有关。
在 2021-09-22 19:23:35，"JasonLee" <17610775...@163.com> 写道：
>hi
>
>
>图片看不到 我猜大概有两种情况 第一种是你的 source 本身就存在数据倾斜 某几个分区的数据量比其他分区的多 需要修改数据写入 kafka
>分区策略让数据尽量均匀 第二种是你的下游计
hi
图片看不到 我猜大概有两种情况 第一种是你的 source 本身就存在数据倾斜 某几个分区的数据量比其他分区的多 需要修改数据写入 kafka
分区策略让数据尽量均匀 第二种是你的下游计算的时候出现数据倾斜(或其他原因)导致任务反压到 source 端 这种情况需要根据实际的情况采用不同的解决方案
单纯的增加并发和改变 slot 数量没有什么效果
Best
JasonLee
在2021年9月22日 09:22，casel.chen 写道：
kafka topic有32个分区，实时作业开了32个并行度消费kafka
topic，现在监控发现部分分区消息积压严重（如下图所示
kafka topic有32个分区，实时作业开了32个并行度消费kafka
topic，现在监控发现部分分区消息积压严重（如下图所示)，请问会有哪些原因造成的？有什么解决办法吗？扩大分区数是不是也不能根治这种情况？
PS:
每个分区消息数的确有所不均，但是同样消息数的几个分区也会出现积压不同情况（如15,16,17,18)。会是因为节点带宽受限造成的吗？当前numberOfSlots=8，改成numberOfSlots=1会有效果么？
|
分区 ID
|
客户端
|
最大位点
|
消费位点
|
堆积量
|
|
0
|
n/a
|
14,131,397
|
14,130,923
|
4
