Re:Re: flink大窗口性能问题

并行度改大，窗口时间小点呗 在 2021-07-15 11:52:12，"Wanghui (HiCampus)" 写道： >并行度增大也可以吗？ > > > >On 2021/07/15 02:45:18, "Michael Ran" mailto:g...@163.com>> >wrote: > >> 要么内存增大，或者并行增大，要么窗口改小，同时保留数据时间减少> > >> 在 2021-07-15 10:23:25，"Hui Wang" >> <46...@qq.com.INVALID> 写道：> > >>

RE: flink大窗口性能问题

Hi: 谢谢答复。 我用的云上的arm虚拟机。 请问下社区有计划支持arm架构下的RocksDB吗？ 祝好！ Wang Hui -邮件原件- 发件人: Yun Tang [mailto:myas...@live.com] 发送时间: 2021年7月16日 14:27 收件人: user-zh@flink.apache.org 主题: Re: flink大窗口性能问题 目前Flink社区版RocksDB尚不支持ARM架构机器。使用RocksDB的话，内存均是堆外管理，与JVM的堆上内存无关。 另外，有个题外话，你们是云上产品还是自建了ARM集群？有点好奇

Re: flink大窗口性能问题

目前Flink社区版RocksDB尚不支持ARM架构机器。使用RocksDB的话，内存均是堆外管理，与JVM的堆上内存无关。 另外，有个题外话，你们是云上产品还是自建了ARM集群？有点好奇目前国内的ARM集群使用率情况。 祝好 唐云 From: Wanghui (HiCampus) Sent: Thursday, July 15, 2021 11:33 To: user-zh@flink.apache.org Subject: Re: flink大窗口性能问题 我在aarch64 + jre 8的环境下，使用

Re: flink大窗口性能问题

并行度增大也可以吗？ On 2021/07/15 02:45:18, "Michael Ran" mailto:g...@163.com>> wrote: > 要么内存增大，或者并行增大，要么窗口改小，同时保留数据时间减少> > 在 2021-07-15 10:23:25，"Hui Wang" > <46...@qq.com.INVALID> 写道：> > >flink大窗口缓存数据量过大导致jvm频烦full gc，并且处理速度极低，最终OOM，该如何调优> > >

Re: flink大窗口性能问题

我在aarch64 + jre 8的环境下，使用rocksdb state backend时，碰到如下错误： 另外，使用rocksdb可以解决大窗口的oom问题吗，原理是什么？ Caused by: java.lang.Exception: Exception while creating StreamOperatorStateContext. at

回复：flink大窗口性能问题

我的系统是aarch64的，在使用rocksdb作为statebackend时，出现以下错误 Caused by: java.io.IOException: Could not load the native RocksDB library at org.apache.flink.contrib.streaming.state.RocksDBStateBackend.ensureRocksDBIsLoaded(RocksDBStateBackend.java:948) at

Re: flink大窗口性能问题

没用rocksdb吗？ On Thu, Jul 15, 2021 at 10:46 AM Michael Ran wrote: > 要么内存增大，或者并行增大，要么窗口改小，同时保留数据时间减少 > 在 2021-07-15 10:23:25，"Hui Wang" <463329...@qq.com.INVALID> 写道： > >flink大窗口缓存数据量过大导致jvm频烦full gc，并且处理速度极低，最终OOM，该如何调优 > -- Best, Jingsong Lee

flink大窗口性能问题

flink大窗口缓存数据量过大导致jvm频烦full gc，并且处理速度极低，最终OOM，该如何调优