补充下问题
Flink 1.9.0
1.使用StreamingFileSink 消费kafka数据到HDFS
2.开启了EXACTLY_ONCE
3.StreamingFileSink.forBulkFormat,Parquet格式、snappy压缩
写入hdfs的文件都是
part-{parallel-task}-{count}
这种格式
如何重命名啊?
marvin.mxw 于2019年10月8日周二 下午6:11写道:
> 补充下问题
>
> Flink 1.9.0
>
> 1. 使用StreamingFileSink 消费kafka数据到HDFS
> 2.
简单看了下拼文件名的规则,你可以试试
RowFormatBuilder#withPartFilePrefix
RowFormatBuilder#withPartFileSuffix
这两个方法。应该可以将你的文件名设置成
--
中间段是写死的。
如果你有更自定义的重命名需求,建议把你为什么需要重命名具体的说一下。
Best,
tison.
Wesley Peng 于2019年10月8日周二 下午5:43写道:
> May you want to rename them in HDFS with FileSystem.rename method?
>
>
> on
May you want to rename them in HDFS with FileSystem.rename method?
on 2019/10/8 17:39, yanggang_it_job wrote:
写入hdfs的文件都是
part-{parallel-task}-{count}
这种格式
如何重命名啊?
Dear All
Flink 1.9.0
1. 使用StreamingFileSink 消费kafka数据到HDFS
2. 开启了EXACTLY_ONCE
写入hdfs的文件都是
part-{parallel-task}-{count}
这种格式
如何重命名啊?
Best