FLINK 1.9.1 StreamingFileSink 压缩问题

2020-01-01 Thread USERNAME 
各位好，FLINK 1.9.1 使用 StreamingFileSink 写Parquet到HDFS，能启用压缩吗？

--代码
StreamingFileSink sink = StreamingFileSink
.forBulkFormat(new Path(FILE_HDFS_PATH), 
ParquetAvroWriters.forReflectRecord(HDFSBean.class))
.withBucketAssigner(new DateTimeBucketAssigner<>(FILE_HDFS_FORMAT))

.build();

Re: FLINK 1.9.1 StreamingFileSink 压缩问题

2020-01-01 Thread JingsongLee 
Hi,

看起来你只能改下connector代码才能支持压缩了：
ParquetAvroWriters.createAvroParquetWriter里：设置AvroParquetWriter.Builder的压缩格式。

Best,
Jingsong Lee


--
From:USERNAME 
Send Time:2020年1月2日(星期四) 13:36
To:user-zh 
Subject:FLINK 1.9.1 StreamingFileSink 压缩问题

各位好，FLINK 1.9.1 使用 StreamingFileSink 写Parquet到HDFS，能启用压缩吗？

--代码
StreamingFileSink sink = StreamingFileSink
.forBulkFormat(new Path(FILE_HDFS_PATH), 
ParquetAvroWriters.forReflectRecord(HDFSBean.class))
.withBucketAssigner(new DateTimeBucketAssigner<>(FILE_HDFS_FORMAT))

.build();

Re:Re: FLINK 1.9.1 StreamingFileSink 压缩问题

2020-01-02 Thread USERNAME 
非常感谢帮助！
祝腊八快乐，祝大家腊八愉快！！

在 2020-01-02 15:00:25，"JingsongLee"  写道：
>Hi,
>
>看起来你只能改下connector代码才能支持压缩了：
>ParquetAvroWriters.createAvroParquetWriter里：设置AvroParquetWriter.Builder的压缩格式。
>
>Best,
>Jingsong Lee
>
>
>--
>From:USERNAME 
>Send Time:2020年1月2日(星期四) 13:36
>To:user-zh 
>Subject:FLINK 1.9.1 StreamingFileSink 压缩问题
>
>各位好，FLINK 1.9.1 使用 StreamingFileSink 写Parquet到HDFS，能启用压缩吗？
>
>--代码
>StreamingFileSink sink = StreamingFileSink
>.forBulkFormat(new Path(FILE_HDFS_PATH), 
> ParquetAvroWriters.forReflectRecord(HDFSBean.class))
>.withBucketAssigner(new DateTimeBucketAssigner<>(FILE_HDFS_FORMAT))
>
>.build();
>