没看过源码,看过一些文档,结论还需验证(应该不用了)。
增量checkpoint指的是 
把内存中的state写入hdfs的时不全量写入,而是写入和上次checkpoint不一致的地方,hdfs底层文件的话会有依赖关系。也就是说本次的依赖上一次,上一次的依赖上上一次。
底部还有一个逻辑是定期合并checkpoint,这个是操作hdfs文件的,checkpoint保留个数可以配置,实际上hdfs上也不会存储太多checkpoint,就是合并这些state。
如下是官网连接:
https://flink.apache.org/features/2018/01/30/incremental-checkpointing.html

大胆猜测:
先写入增量state,然后等待时机和之前的state合并,由于只保留一个checkpoint,所以每次都是触发合并逻辑。
checkpoint-state是增量
但每次都要把之前的state进行合并


------------------------------------------------------------------
发件人:熊云昆 <xiongyun...@163.com>
发送时间:2020年10月6日(星期二) 16:53
收件人:user-zh@flink.apache.org <user-zh@flink.apache.org>
主 题:rocksdb增量ckeckpoint问题

Hi,
有个rocksdb增量checkpoint的问题不明白,如果state.checkpoints.num-retained默认设置为1,意味着checkpoint默认只保留1个,那么在增量checkpoint的时候,它是无法引用上一个checkpoint的备份的sst文件的,其实还是相当于全量备份了,对不对?


| |
熊云昆
|
|
邮箱:xiongyun...@163.com
|

签名由 网易邮箱大师 定制

回复