Hi!
     我们现在使用flink1.12.1版本的flink, 使用StreamingFileSink写入hdfs, 发现存在以下两个问题点。
      1: 官方文档明确提示出: 任务关闭未采用savepoint/ checkpoint 重启 会导致 最后一批的文件无法复原的状态,保持在
inProgress 状态
  例如: 路径 /data/user/test 中存在三个文件
              part-0-0
              part-0-1
              .part-0-2.inprogress.952eb958-dac9-4f2c-b92f-9084ed536a1c
       2: 任务再次启动产生的Buckets 的 永远从 0开始往上递增,上一次任务产生了一些文件。
     同一个任务再次启动后文件:
              part-0-0
              part-0-1
              .part-0-2.inprogress.952eb958-dac9-4f2c-b92f-9084ed536a1c
              .part-0-0.inprogress.0e2f234b-042d-4232-a5f7-c980f04ca82d文件
      由于part-0-0文件已经存在,.part-0-0.inprogress.0e2f234b-042d-4232-a5f7-c980f04ca82d
始终无法变更成part-0-0。

回复