hi  all

flink 版本: 1.11.1

我们利用sql-client提交任务, flink-conf.yaml配置如下

state.backend: filesystem
state.backend.fs.checkpointdir:
hdfs:///ai/flink/checkpoint/dataclean/hl-redis0902/checkpoint-data/23252
state.checkpoints.dir:
hdfs:///ai/flink/checkpoint/dataclean/hl-redis0902/checkpoint-meta/23252
state.savepoints.dir:
hdfs:///ai/flink/checkpoint/dataclean/hl-redis0902/savepoint/23252

execution.checkpointing.externalized-checkpoint-retention:
RETAIN_ON_CANCELLATION
execution.checkpointing.interval: 60s
execution.checkpointing.mode: EXACTLY_ONCE
jobmanager.execution.failover-strategy: full
state.backend.incremental: true


任务运行后,在UI界面上看checkpoint都成功了。 但是hdfs上面却一直只有一个meta文件

类似下面:

hdfs://10.218.60.57:8020/ai/flink/checkpoint/dataclean/hl-redis0902/checkpoint-meta/23250/c72c1ee4362c3d0ba72db32698363fcf/chk-5/_metadata

除了这个文件,其他什么都没有。

我们的源是kafka,kafka肯定会保存state的。


请教大家这是什么原因导致的呢


谢谢










-- 

Best Regards,
Harold Miao

回复