资源足够，busy 50%+，延迟如果也可接受的话，其实就不算问题。2s延迟不算高。
杨扬 <yangya...@cupdata.com> 于2022年9月15日周四 20:02写道： > > 目前并发度已经设定为25，每个slot内存为4G，已经使用100G内存，峰值流量10000TPS左右，资源是足够的吧？ > > > > > > 在 2022年9月15日，下午7:27，yidan zhao <hinobl...@gmail.com> 写道： > > > > busy那就提升并发度看看效果？ > > > > 杨扬 <yangya...@cupdata.com <mailto:yangya...@cupdata.com>> 于2022年9月15日周四 > > 14:51写道： > > 各位好！ > > 目前有一flink作业，大致分为3个阶段： > > 读取kafka中数据（1个source，并行度3）-> 进行数据筛选和条件判断（没有窗口操作，并行度25）-> > > 结果写入kafka（20多个sink，每个sink并行度3）。可参考附件图片。 > > > > 目前存在的问题是：作业在运行一段时间后，中间25并行度的一系列计算算子会变为busy状态（会达到50%以上），端到端的信息延迟增加，偶尔延迟会达到2秒以上。此时作业日志并没有报错、异常、告警等信息。 > > > > > > 上述问题因为没有日志异常告警信息，本人有些无从下手解决。猜测是否因为sink数据量太多且每个sink并行度都是3会导致中间25个并行度的一系列算子和sink之间的交互产生大量shuffle引起？望各位大佬帮忙分析一下这个问题 > > > > > > > > ======================================================= > > 此邮件已由 Deep Discovery Email Inspector 进行了分析。 >
