谢谢您的解答,
        那些文件的数量是只和operator的并行度相关吗?是不是还有key 的个数等相关?有没有具体的公式呢?我没有在源码里找到这块的逻辑

        还有一个最重要的问题,这些文件即然不能合并,state小文件合并指的是那些文件呢?


祝安
Andrew


> 下面是被转发的邮件:
> 
> 发件人: Yun Tang <myas...@live.com>
> 主题: 回复: checkpoint 文件夹Chk-no 下面文件个数是能计算出来的吗?
> 日期: 2019年7月18日 GMT+8 下午3:24:57
> 收件人: "user-zh@flink.apache.org" <user-zh@flink.apache.org>
> 回复-收件人: user-zh@flink.apache.org
> 
> Hi
> 
> A1: chk-x文件下面的文件个数是跟operator个数并行度是有关系的,主要是operator 
> state的文件。对于checkpoint场景,_metadata只是元数据,真实的operator数据都是在其他文件内。
> 
> A2: 
> 不可以将这些文件合并在一起。因为_metadata内主要记录了文件路径,如果合并的话,找不到原始路径会有问题,无法从checkpoint进行restore
> 
> 祝好
> 唐云
> From: 陈冬林 <874269...@qq.com>
> Sent: Thursday, July 18, 2019 15:21
> To: user-zh@flink.apache.org <user-zh@flink.apache.org>
> Subject: checkpoint 文件夹Chk-no 下面文件个数是能计算出来的吗?
>  
> 
> 
> state_checkpoints_dir/2d93ffacbddcf363b960317816566552/chk-2903/1e95606a-8f70-4876-ad6f-95e5cc38af86
> state_checkpoints_dir/2d93ffacbddcf363b960317816566552/chk-2903/2a012214-734a-4c2b-804b-d96f4f3dddf8
> state_checkpoints_dir/2d93ffacbddcf363b960317816566552/chk-2903/31871f64-7034-4323-9a2e-5e387e61b7c4
> state_checkpoints_dir/2d93ffacbddcf363b960317816566552/chk-2903/54c12a36-c121-4fa0-be76-7996946b4beb
> state_checkpoints_dir/2d93ffacbddcf363b960317816566552/chk-2903/63a22932-4bce-4531-bc65-a74d403efb91
> state_checkpoints_dir/2d93ffacbddcf363b960317816566552/chk-2903/64b10d96-8333-4a7e-87d1-8afe24c7d2df
> state_checkpoints_dir/2d93ffacbddcf363b960317816566552/chk-2903/66290710-e619-4ccf-90b6-5f09f89354f8
> state_checkpoints_dir/2d93ffacbddcf363b960317816566552/chk-2903/_metadata
> 
> QA1: chk文件下面的文件个数是跟operator个数并行度有关系吗?我只了解到_metadata文件是用来恢复状态的,那么其他文件代表的是什么意思呢?
> 
> QA2: 可以将这些文件合并在一起吗?

回复