Hi, 这是窗口触发后发送的数据量过大吗?调大资源,加大窗口计算的并发度是否可以缓解这个问题?
Best, Shammon FY On Fri, May 26, 2023 at 2:03 PM tanjialiang <tanjl_w...@126.com> wrote: > Hi, all. > 我在使用FlinkSQL的window tvf滑动窗口时遇到一些问题。 > 滑动步长为5分钟,窗口为24小时,group by > user_id的滑动窗口,当任务挂掉了或者从kafka的earliest-offset消费,checkpoint很难成功。 > 因为从earliest开始消费,数据很快就会堆满缓冲区产生背压,这时这一批数据可能会触发N次窗口计算往下游发,每次触发的操作成本是(用户基数 * > 24 * 60 / 5),checkpoint barrier可能会一直卡住。 > 这时候有什么办法可以破局吗? > > > best, > tanjialiang.