你好,
        如果有需要session窗口可能保持很长时间,数据量也很大,这种窗口会导致checkpoint stage size变的非常大
        有没有一种机制可能让超过一定时间的状态失效并且丢弃掉?








在 2019-06-26 16:23:13,"Yun Tang" <myas...@live.com> 写道:
>你好
>
>这个问题问得有点稍微宽泛,因为并没有描述你所认为的checkpoint state size越来越大的周期。checkpoint state 
>size变大有几个原因:
>
>  1.  上游数据量增大。
>  2.  window设置时间较长,尚未触发,导致window内积攒的数据比较大。
>  3.  window的类型决定了所需要存储的state size较大。
>
>可以参考社区的文档[1] window state的存储空间问题。另外,在上游数据量没有显著变化的时候,若干窗口周期后的checkpoint state 
>size应该是比较稳定的,由于未明确你的观察周期,所以只能给出比较宽泛的建议。
>
>[1] 
>https://ci.apache.org/projects/flink/flink-docs-stable/dev/stream/operators/windows.html#useful-state-size-considerations
>
>祝好
>唐云
>________________________________
>From: ReignsDYL <1945627...@qq.com>
>Sent: Wednesday, June 26, 2019 14:22
>To: user-zh@flink.apache.org
>Subject: checkpoint stage size的问题
>
>各位好,我的项目的流计算模型source(kafka)->filter->keyby->window->aggregate->sink(hbase),现在发现window的subtask的checkpoint的stage
>size越来越大,请问是什么原因啊?
>
>
>
>--
>Sent from: http://apache-flink.147419.n8.nabble.com/

回复