目前并发度已经设定为25,每个slot内存为4G,已经使用100G内存,峰值流量10000TPS左右,资源是足够的吧?




> 在 2022年9月15日,下午7:27,yidan zhao <hinobl...@gmail.com> 写道:
> 
> busy那就提升并发度看看效果?
> 
> 杨扬 <yangya...@cupdata.com <mailto:yangya...@cupdata.com>> 于2022年9月15日周四 
> 14:51写道:
> 各位好!
>       目前有一flink作业,大致分为3个阶段:
>       读取kafka中数据(1个source,并行度3)-> 进行数据筛选和条件判断(没有窗口操作,并行度25)-> 
> 结果写入kafka(20多个sink,每个sink并行度3)。可参考附件图片。
>       
> 目前存在的问题是:作业在运行一段时间后,中间25并行度的一系列计算算子会变为busy状态(会达到50%以上),端到端的信息延迟增加,偶尔延迟会达到2秒以上。此时作业日志并没有报错、异常、告警等信息。
>       
>       
> 上述问题因为没有日志异常告警信息,本人有些无从下手解决。猜测是否因为sink数据量太多且每个sink并行度都是3会导致中间25个并行度的一系列算子和sink之间的交互产生大量shuffle引起?望各位大佬帮忙分析一下这个问题
> 
> 
> 
> ======================================================= 
> 此邮件已由 Deep Discovery Email Inspector 进行了分析。

回复