Re: Flink State 过期清除 TTL 问题

2019-10-31 Thread Yun Tang
Hi 王磊 从你的配置以及使用Flink-1.7版本看,并没有启用主动清理过期数据的功能 [1],建议对StateTtlConfig 配置 cleanupFullSnapshot,这样你在执行full snapshot(也就是Savepoint)的时候,会把过期的数据不保存在你的Savepoint内容中。如果你不启用主动清理,只有当原先的数据被读取时,才会进行清理,这可能就导致你的Savepoint内容不断增长的原因。 另外,建议升级到Flink-1.8+,对state TTL的特性支持更好,可以参考中文文章 [2] [1] https://ci.apache.org/proje

Re: Flink State 过期清除 TTL 问题

2019-12-10 Thread Yun Tang
ink run -s ,从已有 savepoint 目录中恢复的数据所有的 updateTime 都变成了当前时间? 谢谢, 王磊 wangl...@geekplus.com.cn Sender: Yun Tang Send Time: 2019-11-01 01:38 Receiver: user-zh@flink.apache.org Subject: Re: Flink State 过期清除 TTL 问题 Hi 王磊 从你的配置以及使用Flink-1.7

Re: Flink State 过期清除 TTL 问题

2019-12-11 Thread 陈帅
当前时间? > > 谢谢, > 王磊 > > > > wangl...@geekplus.com.cn > > Sender: Yun Tang > Send Time: 2019-11-01 01:38 > Receiver: user-zh@flink.apache.org > Subject: Re: Flink State 过期清除 TTL 问题 > Hi 王磊 > > 从你的配置以及使用Flink-1.7版本看,并没有启用主动清理过

Re: Re: Flink State 过期清除 TTL 问题

2019-10-31 Thread wangl...@geekplus.com.cn
谢谢,了解了。 王磊 wangl...@geekplus.com.cn Sender: Yun Tang Send Time: 2019-11-01 01:38 Receiver: user-zh@flink.apache.org Subject: Re: Flink State 过期清除 TTL 问题 Hi 王磊 从你的配置以及使用Flink-1.7版本看,并没有启用主动清理过期数据的功能 [1],建议对StateTtlConfig 配置 cleanupFullSnapshot,这样你在执行full snapshot(也就是Savepoint)的时候,会把过期的数据不

Re: Re: Flink State 过期清除 TTL 问题

2019-12-09 Thread wangl...@geekplus.com.cn
run -s ,从已有 savepoint 目录中恢复的数据所有的 updateTime 都变成了当前时间? 谢谢, 王磊 wangl...@geekplus.com.cn Sender: Yun Tang Send Time: 2019-11-01 01:38 Receiver: user-zh@flink.apache.org Subject: Re: Flink State 过期清除 TTL 问题 Hi 王磊 从你的配置以及使用Flink-1.7版本看,并没有启用主动清理过期数据的功能 [1],建议对StateTtlConfig 配置