checkpoint stage size的问题

各位好，我的项目的流计算模型source(kafka)->filter->keyby->window->aggregate->sink(hbase),现在发现window的subtask的checkpoint的stage size越来越大，请问是什么原因啊？ -- Sent from: http://apache-flink.147419.n8.nabble.com/

Re: checkpoint stage size的问题

我发现窗口的trigger只进行了fire，并没有进行purge，我不清楚是不是这个原因，或者还是有其他的原因。 -- Sent from: http://apache-flink.147419.n8.nabble.com/

Re: checkpoint stage size的问题

kpoint stage size的问题 各位好，我的项目的流计算模型source(kafka)->filter->keyby->window->aggregate->sink(hbase),现在发现window的subtask的checkpoint的stage size越来越大，请问是什么原因啊？ -- Sent from: http://apache-flink.147419.n8.nabble.com/

Re: checkpoint stage size的问题

老师你好，首先感谢你在百忙之中回复我。 我这面观察到的现象是，当有数据流入时，每个checkpoint的stage size比上一个checkpoint多几百k左右，只要数据持续流入，这个stage size就一直增长，当没有数据流入时，checkpoint的stage size就维持不变了，再有数据流入时，stage size就在原来基础上继续增长。 数据流： SingleOutputStreamOperator studentSubjectStream = dataStream .filter(new Question2SubjectFilter())

Re: checkpoint stage size的问题

-- Sent from: http://apache-flink.147419.n8.nabble.com/

Re: checkpoint stage size的问题

这是web ui的监控 -- Sent from: http://apache-flink.147419.n8.nabble.com/

Re: checkpoint stage size的问题

state会取出并更新或者删除，这里涉及到一个写放大和compaction的问题，rocksDB对某个key的删除不会直接对应物理上的存储的立刻减少。 祝好 唐云 From: ReignsDYL <1945627...@qq.com> Sent: Wednesday, June 26, 2019 17:38 To: user-zh@flink.apache.org Subject: Re: checkpoint stage size的问题 这是web ui的监控 <http://apache-flink.

Re: checkpoint stage size的问题

您好，感谢您的回复。 是这样，开始可能只是20几MB，但是只要有数据流入，它就一直变大，几个小时后，就达到了几百MB，并没有发现清理或者变小的现象。operator的每个subtask的stage zise也是均匀的。 另外，我简单的写了个demo，就是从kafka读数据，然后保存到hbase，我发现那个checkpoint的stage size虽然只有几十k，但是也在慢慢增长，每次比前一个均匀增加。 -- Sent from: http://apache-flink.147419.n8.nabble.com/

Re:Re: checkpoint stage size的问题

/dev/stream/operators/windows.html#useful-state-size-considerations > >祝好 >唐云 > >From: ReignsDYL <1945627...@qq.com> >Sent: Wednesday, June 26, 2019 14:22 >To: user-zh@flink.apache.org >Subject: checkpoint stage size的问题 > >各位好，我的项目的流计算模型sou