回复:flink检查点状态大小

2019-11-26 文章 lucas.wu
你这个用了distinct的话,肯定就是针对全局的id进行distinct了,设置state也无效。 建议自己使用bigmap或者hyperlog算法实现一个distinct,这样可以节省内存 原始邮件 发件人:谷歌-akulakuzhan...@akulaku.com 收件人:user-zh@flink.apache.orguser...@flink.apache.org 发送时间:2019年11月26日(周二) 20:05 主题:flink检查点状态大小 streamTableEnv.getConfig().setIdleStateRetentionTime

flink检查点状态大小

2019-11-26 文章 谷歌-akulaku
streamTableEnv.getConfig().setIdleStateRetentionTime(Time.minutes(15), Time.minutes(20)); 我在程序中设置状态保留时间,然后用全局group进行计算,但是过期状态没有清理导致状态也来越大,最终内存溢出,请问这是什么原因导致的 运行SQL select count(distinct id) as user_count,adjust_time from (select data.f13 as country_id,data.f1 as