你好, 如果有需要session窗口可能保持很长时间,数据量也很大,这种窗口会导致checkpoint stage size变的非常大 有没有一种机制可能让超过一定时间的状态失效并且丢弃掉?
在 2019-06-26 16:23:13,"Yun Tang" <myas...@live.com> 写道: >你好 > >这个问题问得有点稍微宽泛,因为并没有描述你所认为的checkpoint state size越来越大的周期。checkpoint state >size变大有几个原因: > > 1. 上游数据量增大。 > 2. window设置时间较长,尚未触发,导致window内积攒的数据比较大。 > 3. window的类型决定了所需要存储的state size较大。 > >可以参考社区的文档[1] window state的存储空间问题。另外,在上游数据量没有显著变化的时候,若干窗口周期后的checkpoint state >size应该是比较稳定的,由于未明确你的观察周期,所以只能给出比较宽泛的建议。 > >[1] >https://ci.apache.org/projects/flink/flink-docs-stable/dev/stream/operators/windows.html#useful-state-size-considerations > >祝好 >唐云 >________________________________ >From: ReignsDYL <1945627...@qq.com> >Sent: Wednesday, June 26, 2019 14:22 >To: user-zh@flink.apache.org >Subject: checkpoint stage size的问题 > >各位好,我的项目的流计算模型source(kafka)->filter->keyby->window->aggregate->sink(hbase),现在发现window的subtask的checkpoint的stage >size越来越大,请问是什么原因啊? > > > >-- >Sent from: http://apache-flink.147419.n8.nabble.com/