Flink 1.15 FileSink合并压缩的小文件后不可读

2022-08-03 Thread Wenhao Xiao
大佬们好,有用过1.15 FileSink DataStream api的合并小文件功能吗,我这里写文件用gz格式压缩,发现合并后的文件读不了,合并文件用的是ConcatFileCompactor。 以下是使用FileSink的相关代码: CompressWriter使用gz压缩,Compactor使用的是原生的ConcatFileCompactor。 当压缩的小文件被合并后,发现这个被合并的文件不可读: text: invalid block type 请问是1.15 FileSink DataStream api目前是还不支持压缩文件的合并吗?还是我有什么地方用错了或者没注

Flink 1.15 FileSink合并压缩的小文件后不可读

2022-08-03 Thread Wenhao Xiao
大佬们好,有用过1.15 FileSink DataStream api的合并小文件功能吗,我这里写文件用gz格式压缩,发现合并后的文件读不了。 Format Type使用的是FileSink.forBulkFormat;BulkWriter.Factory使用的是CompressWriterFactory,使用gz压缩;合并文件的Compactor使用的是原生的ConcatFileCompactor。 以下是使用FileSink的相关代码: CompressWriterFactory writer = CompressWriters.forExtract