Re: flink大窗口性能问题

我在aarch64 + jre 8的环境下，使用rocksdb state backend时，碰到如下错误： 另外，使用rocksdb可以解决大窗口的oom问题吗，原理是什么？ Caused by: java.lang.Exception: Exception while creating StreamOperatorStateContext. at org.apache.flink.streaming.api.operators.StreamTaskStateInitializerImpl.streamOperatorStateContext(StreamT

Re: flink大窗口性能问题

并行度增大也可以吗？ On 2021/07/15 02:45:18, "Michael Ran" mailto:g...@163.com>> wrote: > 要么内存增大，或者并行增大，要么窗口改小，同时保留数据时间减少> > 在 2021-07-15 10:23:25，"Hui Wang" > <46...@qq.com.INVALID> 写道：> > >flink大窗口缓存数据量过大导致jvm频烦full gc，并且处理速度极低，最终OOM，该如何调优> > >

RE: flink大窗口性能问题

目前国内的ARM集群使用率情况。 祝好 唐云 From: Wanghui (HiCampus) Sent: Thursday, July 15, 2021 11:33 To: user-zh@flink.apache.org Subject: Re: flink大窗口性能问题 我在aarch64 + jre 8的环境下，使用rocksdb state backend时，碰到如下错误： 另外，使用rocksdb可以解决大窗口的oom问题吗，原理是什么？ Caused by: java.lang.Exception

Over窗口聚合性能调优问题

Hi all: 我在测试Over窗口时，当窗口是5秒~15s级别时，处理速度能够达到2000/s。 但是当我把窗口调整为10分钟以上时，处理速度从2000开始急速下降，几分钟后下降至230/s。 请问下： Over窗口的性能该如何优化，因为我后续会将窗口调整为24小时，按照目前的情况来看，性能会下降很快。 我的测试节点配置：8C + 16G Flink配置： taskmanager process memory: 8G Best regards WangHui

Re:Re:Re: Over窗口聚合性能调优问题

@gmail.com>> 写道： >（小的）tumbling window + （大的）over window >这样会不会好一些。 > > >Wanghui (HiCampus) mailto:wanghu...@huawei.com>> >于2021年7月30日周五 下午3:17写道： > >> Hi all: >>我在测试Over窗口时，当窗口是5秒~15s级别时，处理速度能够达到2000/s。 >> 但是当我把窗口调整为10分钟以上时，处理速度从2000开