Re:Streaming File Sink 不能生成 _SUCCESS 标记文件

Wed, 16 Sep 2020 00:05:46 -0700 

加上这个参数'sink.partition-commit.policy.kind'='metastore,success-file'

这个应该是可以work的


在 2020-09-16 15:01:35，"highfei2011" <highfei2...@outlook.com> 写道：
>Hi，各位好！
>      目前遇到一个问题，在使用 FLink -1.11.0 消费 Kafka 数据后，使用 Streaming File Sink 的 
> BucketAssigner 的分桶策略 sink 到 hdfs ，默认没有生成 _SUCCESS 标记文件。
>      我在配置中新增了 
>val hadoopConf = new Configuration()
>hadoopConf.set(FileOutputCommitter.SUCCESSFUL_JOB_OUTPUT_DIR_MARKER, "true”)   
> 
>
>
>但是输出目录里，还是没有 _SUCCESS 文件，麻烦帮出出主意呢，再次谢谢各位！
>
>
>Best,
>Yang

回复