FLINK 1.9.1 StreamingFileSink 压缩问题
各位好,FLINK 1.9.1 使用 StreamingFileSink 写Parquet到HDFS,能启用压缩吗? --代码 StreamingFileSink sink = StreamingFileSink .forBulkFormat(new Path(FILE_HDFS_PATH), ParquetAvroWriters.forReflectRecord(HDFSBean.class)) .withBucketAssigner(new DateTimeBucketAssigner<>(FILE_HDFS_FORMAT)) .build();
Re: FLINK 1.9.1 StreamingFileSink 压缩问题
Hi, 看起来你只能改下connector代码才能支持压缩了: ParquetAvroWriters.createAvroParquetWriter里:设置AvroParquetWriter.Builder的压缩格式。 Best, Jingsong Lee -- From:USERNAME Send Time:2020年1月2日(星期四) 13:36 To:user-zh Subject:FLINK 1.9.1 StreamingFileSink 压缩问题 各位好,FLINK 1.9.1 使用 StreamingFileSink 写Parquet到HDFS,能启用压缩吗? --代码 StreamingFileSink sink = StreamingFileSink .forBulkFormat(new Path(FILE_HDFS_PATH), ParquetAvroWriters.forReflectRecord(HDFSBean.class)) .withBucketAssigner(new DateTimeBucketAssigner<>(FILE_HDFS_FORMAT)) .build();
Re:Re: FLINK 1.9.1 StreamingFileSink 压缩问题
非常感谢帮助! 祝腊八快乐,祝大家腊八愉快!! 在 2020-01-02 15:00:25,"JingsongLee" 写道: >Hi, > >看起来你只能改下connector代码才能支持压缩了: >ParquetAvroWriters.createAvroParquetWriter里:设置AvroParquetWriter.Builder的压缩格式。 > >Best, >Jingsong Lee > > >-- >From:USERNAME >Send Time:2020年1月2日(星期四) 13:36 >To:user-zh >Subject:FLINK 1.9.1 StreamingFileSink 压缩问题 > >各位好,FLINK 1.9.1 使用 StreamingFileSink 写Parquet到HDFS,能启用压缩吗? > >--代码 >StreamingFileSink sink = StreamingFileSink >.forBulkFormat(new Path(FILE_HDFS_PATH), > ParquetAvroWriters.forReflectRecord(HDFSBean.class)) >.withBucketAssigner(new DateTimeBucketAssigner<>(FILE_HDFS_FORMAT)) > >.build(); >