Re: rocksdb状态后端最多保留checkpoints问题

2021-05-31 文章 LakeShen
在增量 checkpoint 下,你可以简单理解状态几乎都存在 checkpoint 目录中的 shared 目录, 所以即使清理 checkpoint,也只是先将这次 checkpoint 引用的相关文件句柄的引用数减1, 只有一个文件没有 checkpoint 引用它时,才会真正删除该文件。 Best, LakeShen. 刘建刚 于2021年5月28日周五 下午7:03写道: > 增量快照的原理是sst文件共享,系统会自动帮助你管理sst文件的引用,类似java的引用,并不会因为一个快照删除了就会把实际的数据删除掉。 > 也就不会发生你说的情况 > > tison

Re: rocksdb状态后端最多保留checkpoints问题

2021-05-28 文章 刘建刚
增量快照的原理是sst文件共享,系统会自动帮助你管理sst文件的引用,类似java的引用,并不会因为一个快照删除了就会把实际的数据删除掉。 也就不会发生你说的情况 tison 于2021年5月28日周五 上午1:47写道: > rocksdb 增量 checkpoint 不是你这么理解的,总的不会恢复不了。原因可以参考下面的材料 > > - > https://flink.apache.org/features/2018/01/30/incremental-checkpointing.html > 官方 blog 介绍 > -

Re: rocksdb状态后端最多保留checkpoints问题

2021-05-27 文章 tison
rocksdb 增量 checkpoint 不是你这么理解的,总的不会恢复不了。原因可以参考下面的材料 - https://flink.apache.org/features/2018/01/30/incremental-checkpointing.html 官方 blog 介绍 - https://www.bilibili.com/video/BV1db411e7x2 施博士的介绍,大概 24 分钟开始讲 Best, tison. casel.chen 于2021年5月27日周四 下午11:35写道: >

rocksdb状态后端最多保留checkpoints问题

2021-05-27 文章 casel.chen
作业中使用了增量式的rocksdb状态后端,请问如果再设置了最多保留checkpoints个数的话,会不会造成rocksdb state恢复失败?例如,假设完整的state恢复需要最近10个chk,但因为设置了最多保留checkpoints个数为5的话,状态是不是恢复不了了?