Hi 如果你的 state 都非常小的话,可能就会保存在 meta 文件中了,这样的话就只有 _metadata 这一个文件的。具体逻辑可以看一下这里[1]
[1] https://github.com/apache/flink/blob/9b0fb562898b809b860cf0065ded7a45c49300af/flink-runtime/src/main/java/org/apache/flink/runtime/checkpoint/metadata/MetadataV2V3SerializerBase.java#L442 Best, Congxian Harold.Miao <miaohong...@gmail.com> 于2020年9月14日周一 下午6:44写道: > hi all > > flink 版本: 1.11.1 > > 我们利用sql-client提交任务, flink-conf.yaml配置如下 > > state.backend: filesystem > state.backend.fs.checkpointdir: > hdfs:///ai/flink/checkpoint/dataclean/hl-redis0902/checkpoint-data/23252 > state.checkpoints.dir: > hdfs:///ai/flink/checkpoint/dataclean/hl-redis0902/checkpoint-meta/23252 > state.savepoints.dir: > hdfs:///ai/flink/checkpoint/dataclean/hl-redis0902/savepoint/23252 > > execution.checkpointing.externalized-checkpoint-retention: > RETAIN_ON_CANCELLATION > execution.checkpointing.interval: 60s > execution.checkpointing.mode: EXACTLY_ONCE > jobmanager.execution.failover-strategy: full > state.backend.incremental: true > > > 任务运行后,在UI界面上看checkpoint都成功了。 但是hdfs上面却一直只有一个meta文件 > > 类似下面: > > hdfs:// > 10.218.60.57:8020/ai/flink/checkpoint/dataclean/hl-redis0902/checkpoint-meta/23250/c72c1ee4362c3d0ba72db32698363fcf/chk-5/_metadata > > 除了这个文件,其他什么都没有。 > > 我们的源是kafka,kafka肯定会保存state的。 > > > 请教大家这是什么原因导致的呢 > > > 谢谢 > > > > > > > > > > > -- > > Best Regards, > Harold Miao >