你的意思是自己去实现滑动窗口的功能么?
戴嘉诚 于2019年9月4日周三 下午10:51写道：
> 这里我建议你是用key process然后在里面用state来管理和聚集数据，这样会节省很大一部分内存
>
> Yifei Qi 于2019年9月4日 周三20:07写道：
>
> > 大家好:
> >
> >
> >
> > 不知道大家在使用flink时遇到过内存消耗过大的问题么?
> >
> >
> >
> > 我们最近在用flink算一些实时的统计数
意思是要自己写方法实现滑动窗口的功能? 自己控制中间数据如何保存?
Victor Wong 于2019年9月4日周三 下午10:36写道：
> 这种情况不建议使用滑动窗口，因为会保存大量的窗口数据（24小时/1分钟）；
> 可以自定义ProcessFunction，参照[1]；
>
> [1].
> https://stackoverflow.com/questions/51977741/flink-performance-issue-with-sliding-time-window
>
>
>
>
>
>
你们遇到这种问题怎么处理的了?
Shuo Cheng 于2019年9月4日周三 下午10:47写道：
> 如果是使用 datastream api 的话，滑动窗口对于每条数据都会在 state 中存 size / slide
> 份，像你这种大小设置，肯定会导致内存的大量消耗.
>
> On Wed, Sep 4, 2019 at 8:07 PM Yifei Qi wrote:
>
> > 大家好:
> >
> >
> >
> > 不知道大家在使用flink时遇到过内存消耗过大的问题么?
&g
大家好:
不知道大家在使用flink时遇到过内存消耗过大的问题么?
我们最近在用flink算一些实时的统计数据, 但是内存消耗很大, 不知道有没有人知道如何优化?
具体情况是这样的:
准备的测试数据模拟一天时间内3万个用户的5万条数据. 原始数据一共是100M.
按照用户进行分组.
计算两个滑动窗口任务:一个是近1小时, 每5秒滑动一次的窗口. 一个是近24小时, 每1分钟滑动一次的窗口.
flink运行在3个节点后, 内存合计就用了5G.
flink如此消耗内存, 不知道是它本来就这么吃内存, 还是我使用的有问题.
顺祝商祺
--
