谢谢您的解答, 那些文件的数量是只和operator的并行度相关吗?是不是还有key 的个数等相关?有没有具体的公式呢?我没有在源码里找到这块的逻辑
还有一个最重要的问题,这些文件即然不能合并,state小文件合并指的是那些文件呢? 祝安 Andrew > 下面是被转发的邮件: > > 发件人: Yun Tang <myas...@live.com> > 主题: 回复: checkpoint 文件夹Chk-no 下面文件个数是能计算出来的吗? > 日期: 2019年7月18日 GMT+8 下午3:24:57 > 收件人: "user-zh@flink.apache.org" <user-zh@flink.apache.org> > 回复-收件人: user-zh@flink.apache.org > > Hi > > A1: chk-x文件下面的文件个数是跟operator个数并行度是有关系的,主要是operator > state的文件。对于checkpoint场景,_metadata只是元数据,真实的operator数据都是在其他文件内。 > > A2: > 不可以将这些文件合并在一起。因为_metadata内主要记录了文件路径,如果合并的话,找不到原始路径会有问题,无法从checkpoint进行restore > > 祝好 > 唐云 > From: 陈冬林 <874269...@qq.com> > Sent: Thursday, July 18, 2019 15:21 > To: user-zh@flink.apache.org <user-zh@flink.apache.org> > Subject: checkpoint 文件夹Chk-no 下面文件个数是能计算出来的吗? > > > > state_checkpoints_dir/2d93ffacbddcf363b960317816566552/chk-2903/1e95606a-8f70-4876-ad6f-95e5cc38af86 > state_checkpoints_dir/2d93ffacbddcf363b960317816566552/chk-2903/2a012214-734a-4c2b-804b-d96f4f3dddf8 > state_checkpoints_dir/2d93ffacbddcf363b960317816566552/chk-2903/31871f64-7034-4323-9a2e-5e387e61b7c4 > state_checkpoints_dir/2d93ffacbddcf363b960317816566552/chk-2903/54c12a36-c121-4fa0-be76-7996946b4beb > state_checkpoints_dir/2d93ffacbddcf363b960317816566552/chk-2903/63a22932-4bce-4531-bc65-a74d403efb91 > state_checkpoints_dir/2d93ffacbddcf363b960317816566552/chk-2903/64b10d96-8333-4a7e-87d1-8afe24c7d2df > state_checkpoints_dir/2d93ffacbddcf363b960317816566552/chk-2903/66290710-e619-4ccf-90b6-5f09f89354f8 > state_checkpoints_dir/2d93ffacbddcf363b960317816566552/chk-2903/_metadata > > QA1: chk文件下面的文件个数是跟operator个数并行度有关系吗?我只了解到_metadata文件是用来恢复状态的,那么其他文件代表的是什么意思呢? > > QA2: 可以将这些文件合并在一起吗?