你这个用了distinct的话,肯定就是针对全局的id进行distinct了,设置state也无效。
建议自己使用bigmap或者hyperlog算法实现一个distinct,这样可以节省内存
原始邮件
发件人:谷歌-akulakuzhan...@akulaku.com
收件人:user-zh@flink.apache.orguser...@flink.apache.org
发送时间:2019年11月26日(周二) 20:05
主题:flink检查点状态大小
streamTableEnv.getConfig().setIdleStateRetentionTime
streamTableEnv.getConfig().setIdleStateRetentionTime(Time.minutes(15),
Time.minutes(20));
我在程序中设置状态保留时间,然后用全局group进行计算,但是过期状态没有清理导致状态也来越大,最终内存溢出,请问这是什么原因导致的
运行SQL
select count(distinct id) as user_count,adjust_time from (select data.f13 as
country_id,data.f1 as