谢谢，大概明白了
| | 熊云昆 | | 邮箱：xiongyun...@163.com | 签名由 网易邮箱大师 定制 在2020年10月10日 16:42，Yun Tang 写道： Hi，云昆 首先，如果Congxian回答的，sst文件是不变的，所以就有了“增量”的前提，如果多个checkpoint均包含某个sst文件，那么该文件可以在多个checkpoint间共享，这些文件表示是属于shared的文件，存储在shared目录下，可以参考文档[1]。 这并不与保留一个checkpoint不一致，增量checkpoint的含义是上传的数据是增量的，但是每一个checkpoint均是完整的，没有上传的重复数据依赖于之前checkpoint上传过，所以这些文件才会存储在“shared”目录下，意指可以被多个checkpoint共享。而state.checkpoints.num-retained 的含义是保留的完整checkpoint个数，当一个旧的checkpoint不再需要时，我们会把不共享的文件清理掉。 [1] https://ci.apache.org/projects/flink/flink-docs-stable/ops/state/checkpoints.html#directory-structure 祝好 唐云 ________________________________ From: 熊云昆 <xiongyun...@163.com> Sent: Saturday, October 10, 2020 15:52 To: Congxian Qiu <qcx978132...@gmail.com> Cc: user-zh <user-zh@flink.apache.org>; 宁吉浩 <a986697...@dingtalk.com> Subject: 回复：rocksdb增量ckeckpoint问题 原来的sst文件存在原来的chk-***下面，意味着原来的chk-***不会被删除，这与stat.checkpoints.num-retained保留1个checkpoint不一致吧？ | | 熊云昆 | | 邮箱：xiongyun...@163.com | 签名由 网易邮箱大师 定制 在2020年10月09日 10:47，Congxian Qiu 写道： Hi 增量 checkpoint 是指，每次只上传的 *必须的* sst 文件。因为 RocksDB 生成的 sst 文件是不可变的，所以之前上传过的 sst 文件直接引用即可，这样减少了很多 sst 文件的上传（也减少了 HDFS 的存储和删除等操作） Best, Congxian 宁吉浩 <a986697...@dingtalk.com.invalid> 于2020年10月9日周五 上午10:20写道： > 没看过源码，看过一些文档，结论还需验证(应该不用了)。 > 增量checkpoint指的是 > 把内存中的state写入hdfs的时不全量写入，而是写入和上次checkpoint不一致的地方，hdfs底层文件的话会有依赖关系。也就是说本次的依赖上一次，上一次的依赖上上一次。 > > 底部还有一个逻辑是定期合并checkpoint，这个是操作hdfs文件的，checkpoint保留个数可以配置，实际上hdfs上也不会存储太多checkpoint，就是合并这些state。 > 如下是官网连接: > https://flink.apache.org/features/2018/01/30/incremental-checkpointing.html > > 大胆猜测: > 先写入增量state，然后等待时机和之前的state合并，由于只保留一个checkpoint，所以每次都是触发合并逻辑。 > checkpoint-state是增量 > 但每次都要把之前的state进行合并 > > > ------------------------------------------------------------------ > 发件人：熊云昆 <xiongyun...@163.com> > 发送时间：2020年10月6日(星期二) 16:53 > 收件人：user-zh@flink.apache.org <user-zh@flink.apache.org> > 主 题：rocksdb增量ckeckpoint问题 > > Hi, > > 有个rocksdb增量checkpoint的问题不明白，如果state.checkpoints.num-retained默认设置为1，意味着checkpoint默认只保留1个，那么在增量checkpoint的时候，它是无法引用上一个checkpoint的备份的sst文件的，其实还是相当于全量备份了，对不对？ > > > | | > 熊云昆 > | > | > 邮箱：xiongyun...@163.com > | > > 签名由 网易邮箱大师 定制
