排查一下任务在执行过程中,是否有背压,以及在ck过程中,buffer积压了多少数据量。
很可能是在访问hbase的过程,性能不是很好。
在2021年06月03日 15:27,Jacob 写道:
Dear all,
我有一个两个Flink Job A和B
A job任务是消费kafka topic01数据,经过一系列逻辑加工,最终将数据sink到topic02
其中加工大致过程是:消费到topic01消息后,根据数据相关字段查询redis、查询hbase,然后组装业务数据(过程比较复杂),然后将业务数据写到另一个topic02,30s做一次checkpoint,state大小只有几十kb,但做一次checkpoint平均需要两分钟,导致topic01消息产生堆积,实时性降低。
B job任务简单,消费上一步的的业务数据topic02,开一个半个小时的窗口将数据进行聚合(keyby、max)之后写到orc
file,state大小几百兆,但耗时是秒级别。
我比较疑惑的是为什么A job的state那么小,但checkpoint却很耗时,不知道从哪个角度去优化该问题。
请各位指教
-
Thanks!
Jacob
--
Sent from: http://apache-flink.147419.n8.nabble.com/