好的,非常感谢您的解答。
> 下面是被转发的邮件: > > 发件人: Yun Tang <myas...@live.com> > 主题: 回复: checkpoint 文件夹Chk-no 下面文件个数是能计算出来的吗? > 日期: 2019年7月18日 GMT+8 下午4:06:59 > 收件人: "user-zh@flink.apache.org" <user-zh@flink.apache.org> > 回复-收件人: user-zh@flink.apache.org > > Hi > > 源码部分可以参考[1] DefaultOperatorStateBackendSnapshotStrategy 执行完成的时候,每个operator > state backend 都只会产生至多一个文件。 > > state小文件合并,你指的应该是FLINK-11937<https://issues.apache.org/jira/browse/FLINK-11937> > 吧,这里的所谓合并是每个rocksDB state > backend创建checkpoint的时候,在一定阈值内,若干sst文件的序列化结果都写到一个文件内。由于keyed > state体积比较大,每次checkpoint时候,创建的文件数目一般不止一个。 > > > [1] > https://github.com/apache/flink/blob/1ec34249a0303ae64d049d177057ef9b6c413ab5/flink-runtime/src/main/java/org/apache/flink/runtime/state/DefaultOperatorStateBackendSnapshotStrategy.java#L179 > > 祝好 > 唐云 > > > ________________________________ > From: 陈冬林 <874269...@qq.com> > Sent: Thursday, July 18, 2019 15:34 > To: user-zh@flink.apache.org <user-zh@flink.apache.org> > Subject: Fwd: checkpoint 文件夹Chk-no 下面文件个数是能计算出来的吗? > > 谢谢您的解答, > 那些文件的数量是只和operator的并行度相关吗?是不是还有key 的个数等相关?有没有具体的公式呢?我没有在源码里找到这块的逻辑 > > 还有一个最重要的问题,这些文件即然不能合并,state小文件合并指的是那些文件呢? > > > 祝安 > Andrew > > >> 下面是被转发的邮件: >> >> 发件人: Yun Tang <myas...@live.com> >> 主题: 回复: checkpoint 文件夹Chk-no 下面文件个数是能计算出来的吗? >> 日期: 2019年7月18日 GMT+8 下午3:24:57 >> 收件人: "user-zh@flink.apache.org" <user-zh@flink.apache.org> >> 回复-收件人: user-zh@flink.apache.org >> >> Hi >> >> A1: chk-x文件下面的文件个数是跟operator个数并行度是有关系的,主要是operator >> state的文件。对于checkpoint场景,_metadata只是元数据,真实的operator数据都是在其他文件内。 >> >> A2: >> 不可以将这些文件合并在一起。因为_metadata内主要记录了文件路径,如果合并的话,找不到原始路径会有问题,无法从checkpoint进行restore >> >> 祝好 >> 唐云 >> From: 陈冬林 <874269...@qq.com> >> Sent: Thursday, July 18, 2019 15:21 >> To: user-zh@flink.apache.org <user-zh@flink.apache.org> >> Subject: checkpoint 文件夹Chk-no 下面文件个数是能计算出来的吗? >> >> >> >> state_checkpoints_dir/2d93ffacbddcf363b960317816566552/chk-2903/1e95606a-8f70-4876-ad6f-95e5cc38af86 >> state_checkpoints_dir/2d93ffacbddcf363b960317816566552/chk-2903/2a012214-734a-4c2b-804b-d96f4f3dddf8 >> state_checkpoints_dir/2d93ffacbddcf363b960317816566552/chk-2903/31871f64-7034-4323-9a2e-5e387e61b7c4 >> state_checkpoints_dir/2d93ffacbddcf363b960317816566552/chk-2903/54c12a36-c121-4fa0-be76-7996946b4beb >> state_checkpoints_dir/2d93ffacbddcf363b960317816566552/chk-2903/63a22932-4bce-4531-bc65-a74d403efb91 >> state_checkpoints_dir/2d93ffacbddcf363b960317816566552/chk-2903/64b10d96-8333-4a7e-87d1-8afe24c7d2df >> state_checkpoints_dir/2d93ffacbddcf363b960317816566552/chk-2903/66290710-e619-4ccf-90b6-5f09f89354f8 >> state_checkpoints_dir/2d93ffacbddcf363b960317816566552/chk-2903/_metadata >> >> QA1: >> chk文件下面的文件个数是跟operator个数并行度有关系吗?我只了解到_metadata文件是用来恢复状态的,那么其他文件代表的是什么意思呢? >> >> QA2: 可以将这些文件合并在一起吗? >