From: 熊云昆
Sent: Saturday, October 10, 2020 15:52
To: Congxian Qiu
Cc: user-zh ; 宁吉浩
Subject: 回复：rocksdb增量ckeckpoint问题
原来的sst文件存在原来的chk-***下面，意味着原来的chk-***不会被删除，这与stat.checkpoints.num-retained保留1个checkpoint不一致吧？
| |
熊云昆
|
|
邮箱：xiongyun...@163.com
|
签名由 网易邮箱大师 定制
在2020年10月
-zh ; 宁吉浩
Subject: 回复：rocksdb增量ckeckpoint问题
原来的sst文件存在原来的chk-***下面，意味着原来的chk-***不会被删除，这与stat.checkpoints.num-retained保留1个checkpoint不一致吧？
| |
熊云昆
|
|
邮箱：xiongyun...@163.com
|
签名由 网易邮箱大师 定制
在2020年10月09日 10:47，Congxian Qiu 写道：
Hi
增量 checkpoint 是指，每次只上传的 *必须的* sst 文件。因为 RocksDB 生成的 sst 文件是不可变的，所
原来的sst文件存在原来的chk-***下面，意味着原来的chk-***不会被删除，这与stat.checkpoints.num-retained保留1个checkpoint不一致吧？
| |
熊云昆
|
|
邮箱：xiongyun...@163.com
|
签名由 网易邮箱大师 定制
在2020年10月09日 10:47，Congxian Qiu 写道：
Hi
增量 checkpoint 是指，每次只上传的 *必须的* sst 文件。因为 RocksDB 生成的 sst 文件是不可变的，所以之前上传过的
sst 文件直接引用即可，这样减少了很多 sst 文件的上传（也减少了
没看过源码，看过一些文档，结论还需验证(应该不用了)。
增量checkpoint指的是
把内存中的state写入hdfs的时不全量写入，而是写入和上次checkpoint不一致的地方，hdfs底层文件的话会有依赖关系。也就是说本次的依赖上一次，上一次的依赖上上一次。
底部还有一个逻辑是定期合并checkpoint，这个是操作hdfs文件的，checkpoint保留个数可以配置，实际上hdfs上也不会存储太多checkpoint，就是合并这些state。
如下是官网连接:
https://flink.apache.org/features/2018/01/30/incremental-che
