checkpoint文件大小不断增加的原因是由于任务的状态不断累积导致的;所以如果任务状态很大的情况下,比如Group by 
的字段过多等等,可以考虑开启增量state.backend.incremental,同时可以考虑任务的类型,如果任务是按天进行聚合指标的情况可以考虑设置状态过期清理时间idlestate.retention.time为一天等方式来防止chekcpoint保留状态数据的不断增加,或者增加速度过快导致任务的内存不够而被Kill掉;


但是看您的描述,并不是设置State 
TTL不生效,而是要考虑状态时间戳的更新方式,因为状态时间戳被更新存在两种模式StateTtlConfig.UpdateType.OnCreateAndWrite
 - 只在创建和写的时候更新(默认),StateTtlConfig.UpdateType.OnReadAndWrite - 
在读和写的时候更新,所以可以考虑您的任务情况采用哪种设定状态的更新模式;


同时过期数据的清理策略和您设定的checkpoint保留是增量、全量或者增量RocksDB保留的策略都有关了,您可以综合考虑自己的checkpoint保留策略和任务类型合理设定状态过期清理时间idlestate.retention.time
 和状态时间戳的更新方式以及任务的checkpoint的保留策略


Best ,
JasonLee
| |
李闯
|
|
jasonlee1...@163.com
|
签名由网易邮箱大师定制


在2021年06月10日 12:33,HunterXHunter<1356469...@qq.com> 写道:
建议关闭state.backend.incremental ,因为我遇到过,开启增量ckp导致ckp一直增大,关掉就正常了



--
Sent from: http://apache-flink.147419.n8.nabble.com/

回复