你们遇到这种问题怎么处理的了? Shuo Cheng <njucs...@gmail.com> 于2019年9月4日周三 下午10:47写道：
> 如果是使用 datastream api 的话，滑动窗口对于每条数据都会在 state 中存 size / slide > 份，像你这种大小设置，肯定会导致内存的大量消耗. > > On Wed, Sep 4, 2019 at 8:07 PM Yifei Qi <qyf...@gmail.com> wrote: > > > 大家好: > > > > > > > > 不知道大家在使用flink时遇到过内存消耗过大的问题么? > > > > > > > > 我们最近在用flink算一些实时的统计数据, 但是内存消耗很大, 不知道有没有人知道如何优化? > > > > > > > > 具体情况是这样的: > > > > 准备的测试数据模拟一天时间内3万个用户的5万条数据. 原始数据一共是100M. > > > > 按照用户进行分组. > > > > 计算两个滑动窗口任务:一个是近1小时, 每5秒滑动一次的窗口. 一个是近24小时, 每1分钟滑动一次的窗口. > > > > > > > > > > > > flink运行在3个节点后, 内存合计就用了5G. > > > > > > > > > > > > flink如此消耗内存, 不知道是它本来就这么吃内存, 还是我使用的有问题. > > > > > > > > > > > > 顺祝商祺 > > > > > > -- > > > > > > Qi Yifei > > [image: https://]about.me/qyf404 > > < > > > https://about.me/qyf404?promo=email_sig&utm_source=product&utm_medium=email_sig&utm_campaign=gmail_api > > > > > > -- Qi Yifei [image: https://]about.me/qyf404 <https://about.me/qyf404?promo=email_sig&utm_source=product&utm_medium=email_sig&utm_campaign=gmail_api>
