没看过源码,看过一些文档,结论还需验证(应该不用了)。 增量checkpoint指的是 把内存中的state写入hdfs的时不全量写入,而是写入和上次checkpoint不一致的地方,hdfs底层文件的话会有依赖关系。也就是说本次的依赖上一次,上一次的依赖上上一次。 底部还有一个逻辑是定期合并checkpoint,这个是操作hdfs文件的,checkpoint保留个数可以配置,实际上hdfs上也不会存储太多checkpoint,就是合并这些state。 如下是官网连接: https://flink.apache.org/features/2018/01/30/incremental-checkpointing.html
大胆猜测: 先写入增量state,然后等待时机和之前的state合并,由于只保留一个checkpoint,所以每次都是触发合并逻辑。 checkpoint-state是增量 但每次都要把之前的state进行合并 ------------------------------------------------------------------ 发件人:熊云昆 <xiongyun...@163.com> 发送时间:2020年10月6日(星期二) 16:53 收件人:user-zh@flink.apache.org <user-zh@flink.apache.org> 主 题:rocksdb增量ckeckpoint问题 Hi, 有个rocksdb增量checkpoint的问题不明白,如果state.checkpoints.num-retained默认设置为1,意味着checkpoint默认只保留1个,那么在增量checkpoint的时候,它是无法引用上一个checkpoint的备份的sst文件的,其实还是相当于全量备份了,对不对? | | 熊云昆 | | 邮箱:xiongyun...@163.com | 签名由 网易邮箱大师 定制