好的,非常感谢您的解答。





> 下面是被转发的邮件:
> 
> 发件人: Yun Tang <myas...@live.com>
> 主题: 回复: checkpoint 文件夹Chk-no 下面文件个数是能计算出来的吗?
> 日期: 2019年7月18日 GMT+8 下午4:06:59
> 收件人: "user-zh@flink.apache.org" <user-zh@flink.apache.org>
> 回复-收件人: user-zh@flink.apache.org
> 
> Hi
> 
> 源码部分可以参考[1] DefaultOperatorStateBackendSnapshotStrategy 执行完成的时候,每个operator 
> state backend 都只会产生至多一个文件。
> 
> state小文件合并,你指的应该是FLINK-11937<https://issues.apache.org/jira/browse/FLINK-11937>
>  吧,这里的所谓合并是每个rocksDB state 
> backend创建checkpoint的时候,在一定阈值内,若干sst文件的序列化结果都写到一个文件内。由于keyed 
> state体积比较大,每次checkpoint时候,创建的文件数目一般不止一个。
> 
> 
> [1] 
> https://github.com/apache/flink/blob/1ec34249a0303ae64d049d177057ef9b6c413ab5/flink-runtime/src/main/java/org/apache/flink/runtime/state/DefaultOperatorStateBackendSnapshotStrategy.java#L179
> 
> 祝好
> 唐云
> 
> 
> ________________________________
> From: 陈冬林 <874269...@qq.com>
> Sent: Thursday, July 18, 2019 15:34
> To: user-zh@flink.apache.org <user-zh@flink.apache.org>
> Subject: Fwd: checkpoint 文件夹Chk-no 下面文件个数是能计算出来的吗?
> 
> 谢谢您的解答,
>        那些文件的数量是只和operator的并行度相关吗?是不是还有key 的个数等相关?有没有具体的公式呢?我没有在源码里找到这块的逻辑
> 
>        还有一个最重要的问题,这些文件即然不能合并,state小文件合并指的是那些文件呢?
> 
> 
> 祝安
> Andrew
> 
> 
>> 下面是被转发的邮件:
>> 
>> 发件人: Yun Tang <myas...@live.com>
>> 主题: 回复: checkpoint 文件夹Chk-no 下面文件个数是能计算出来的吗?
>> 日期: 2019年7月18日 GMT+8 下午3:24:57
>> 收件人: "user-zh@flink.apache.org" <user-zh@flink.apache.org>
>> 回复-收件人: user-zh@flink.apache.org
>> 
>> Hi
>> 
>> A1: chk-x文件下面的文件个数是跟operator个数并行度是有关系的,主要是operator 
>> state的文件。对于checkpoint场景,_metadata只是元数据,真实的operator数据都是在其他文件内。
>> 
>> A2: 
>> 不可以将这些文件合并在一起。因为_metadata内主要记录了文件路径,如果合并的话,找不到原始路径会有问题,无法从checkpoint进行restore
>> 
>> 祝好
>> 唐云
>> From: 陈冬林 <874269...@qq.com>
>> Sent: Thursday, July 18, 2019 15:21
>> To: user-zh@flink.apache.org <user-zh@flink.apache.org>
>> Subject: checkpoint 文件夹Chk-no 下面文件个数是能计算出来的吗?
>> 
>> 
>> 
>> state_checkpoints_dir/2d93ffacbddcf363b960317816566552/chk-2903/1e95606a-8f70-4876-ad6f-95e5cc38af86
>> state_checkpoints_dir/2d93ffacbddcf363b960317816566552/chk-2903/2a012214-734a-4c2b-804b-d96f4f3dddf8
>> state_checkpoints_dir/2d93ffacbddcf363b960317816566552/chk-2903/31871f64-7034-4323-9a2e-5e387e61b7c4
>> state_checkpoints_dir/2d93ffacbddcf363b960317816566552/chk-2903/54c12a36-c121-4fa0-be76-7996946b4beb
>> state_checkpoints_dir/2d93ffacbddcf363b960317816566552/chk-2903/63a22932-4bce-4531-bc65-a74d403efb91
>> state_checkpoints_dir/2d93ffacbddcf363b960317816566552/chk-2903/64b10d96-8333-4a7e-87d1-8afe24c7d2df
>> state_checkpoints_dir/2d93ffacbddcf363b960317816566552/chk-2903/66290710-e619-4ccf-90b6-5f09f89354f8
>> state_checkpoints_dir/2d93ffacbddcf363b960317816566552/chk-2903/_metadata
>> 
>> QA1: 
>> chk文件下面的文件个数是跟operator个数并行度有关系吗?我只了解到_metadata文件是用来恢复状态的,那么其他文件代表的是什么意思呢?
>> 
>> QA2: 可以将这些文件合并在一起吗?
> 

Reply via email to