Hi 王磊
从你的配置以及使用Flink-1.7版本看,并没有启用主动清理过期数据的功能 [1],建议对StateTtlConfig 配置
cleanupFullSnapshot,这样你在执行full
snapshot(也就是Savepoint)的时候,会把过期的数据不保存在你的Savepoint内容中。如果你不启用主动清理,只有当原先的数据被读取时,才会进行清理,这可能就导致你的Savepoint内容不断增长的原因。
另外,建议升级到Flink-1.8+,对state TTL的特性支持更好,可以参考中文文章 [2]
[1]
https://ci.apache.org/proje
ink run -s ,从已有 savepoint 目录中恢复的数据所有的 updateTime 都变成了当前时间?
谢谢,
王磊
wangl...@geekplus.com.cn
Sender: Yun Tang
Send Time: 2019-11-01 01:38
Receiver: user-zh@flink.apache.org
Subject: Re: Flink State 过期清除 TTL 问题
Hi 王磊
从你的配置以及使用Flink-1.7
当前时间?
>
> 谢谢,
> 王磊
>
>
>
> wangl...@geekplus.com.cn
>
> Sender: Yun Tang
> Send Time: 2019-11-01 01:38
> Receiver: user-zh@flink.apache.org
> Subject: Re: Flink State 过期清除 TTL 问题
> Hi 王磊
>
> 从你的配置以及使用Flink-1.7版本看,并没有启用主动清理过
谢谢,了解了。
王磊
wangl...@geekplus.com.cn
Sender: Yun Tang
Send Time: 2019-11-01 01:38
Receiver: user-zh@flink.apache.org
Subject: Re: Flink State 过期清除 TTL 问题
Hi 王磊
从你的配置以及使用Flink-1.7版本看,并没有启用主动清理过期数据的功能 [1],建议对StateTtlConfig 配置
cleanupFullSnapshot,这样你在执行full
snapshot(也就是Savepoint)的时候,会把过期的数据不
run -s ,从已有 savepoint 目录中恢复的数据所有的 updateTime 都变成了当前时间?
谢谢,
王磊
wangl...@geekplus.com.cn
Sender: Yun Tang
Send Time: 2019-11-01 01:38
Receiver: user-zh@flink.apache.org
Subject: Re: Flink State 过期清除 TTL 问题
Hi 王磊
从你的配置以及使用Flink-1.7版本看,并没有启用主动清理过期数据的功能 [1],建议对StateTtlConfig 配置