dear all : 我们checkpoint 信息默认保存在rocksdb上,但是rocksdb 是一个单机系统,性能OK,要做到不丢失还是要备份到hdfs分布式文件系统上。
问题是: 1. 如果仅保存在rocksdb,那么单机物理损坏,数据是会丢失的。 2. 如果仅保存hdfs,那么性能可能跟不上 3.如果先保存到rocksdb,再定时备份到hdfs,那么是多久备份一次?中间出现物理损坏,还是会出现一端时间的丢失。 4. 这块的详细设计,和具体流程、场景有合适的文档推荐吗?怎么再性能和数据完整性上做考虑的