Re:Re: 【问题分析】Fink任务无限反压

[13631283359]

1.不知道这边有没有flink数据链路监控
2.flink反压可能有以下几种原因：
数据倾斜
TaskManager配置内存太小，导致full gc
checkpoint太慢
状态太大








在 2021-06-08 10:36:49，"LakeShen" <shenleifight...@gmail.com> 写道：
>你可以先结合你的任务逻辑，以及 Flink  Web UI 反压监控，看看到底是什么地方引起反压。
>一般 source 反压，是下游的算子一直反压到 source。可以看看那个算子引起
>
>Best,
>LakeShen
>
>
>yidan zhao <hinobl...@gmail.com> 于2021年6月8日周二 上午10:28写道：
>
>> 该任务有时候正常，偶尔反压。
>> 最近观察发现，反压时，kafkaSouce节点100%反压到停滞，后续算子什么也收不到，任务整体停滞。
>>
>> 这类错误遇到过很多次了，目前我生产中flink有个很大问题就是这些稳定性，压力大不是需要时间去追赶，而是压力一大就整体处于停滞状态。
>>