Hi,
看起来你只能改下connector代码才能支持压缩了:
ParquetAvroWriters.createAvroParquetWriter里:设置AvroParquetWriter.Builder的压缩格式。
Best,
Jingsong Lee
--
From:USERNAME
Send Time:2020年1月2日(星期四) 13:36
To:user-zh
Subject:FLINK 1.9.1 StreamingFileSink 压缩问
Hi,
user-zh我就说中文啦.
你需要设置成bigint.
具体报什么错?
Best,
Jingsong Lee
--
From:刘世民
Send Time:2020年1月2日(星期四) 13:47
To:user-zh
Subject:How should i set the field type in mysql when i use temporal table join
between kafka and jdbc ?
for exa
??tm??gc??flink1.8
heap10.25GB??heap??1/33.41GB
??heap2442764288byte
??jvm
-- --
??: "Xintong Song"
for example, num_count field type is Long, but no matter if i set it to bigint
or something else in mysql table, it has always report errorr...
so,what can i should set num_count field type in mysql? thanks
Best !
amenhub
各位好,FLINK 1.9.1 使用 StreamingFileSink 写Parquet到HDFS,能启用压缩吗?
--代码
StreamingFileSink sink = StreamingFileSink
.forBulkFormat(new Path(FILE_HDFS_PATH),
ParquetAvroWriters.forReflectRecord(HDFSBean.class))
.withBucketAssigner(new DateTimeBucketAssigner<>(FILE_HDFS_FORMAT))
.bu
我知道 -XX:NewSize 是 JVM 的参数。
我的意思是说,Flink 并没有自动地去设置 JVM 的这个参数,你是从哪里看到这个参数被设置成了 2442764288 的呢?
Thank you~
Xintong Song
On Thu, Jan 2, 2020 at 10:03 AM pengchenglin wrote:
> 这个是jdk的参数,可以通过flink的env.java.opts配置
>
> 发件人: Xintong Song
> 发送时间: 2020-01-02 09:54
> 收件人: user-zh
> 主题: Re: flink内存分配的问题
>
??
ProcessFunction
CoProcessFunction
ProcessWindowFunction
ProcessAllWindowFunction
ID
??
??
这个是jdk的参数,可以通过flink的env.java.opts配置
发件人: Xintong Song
发送时间: 2020-01-02 09:54
收件人: user-zh
主题: Re: flink内存分配的问题
我不确定你说的 -XX:NewSize=2442764288 是从哪里看到的,据我所知 flink 似乎没有设置这个参数。另外你用的 flink
版本是哪个版本?
Thank you~
Xintong Song
On Tue, Dec 31, 2019 at 8:52 PM cs <58683...@qq.com> wrote:
> 谢谢您的回答
我不确定你说的 -XX:NewSize=2442764288 是从哪里看到的,据我所知 flink 似乎没有设置这个参数。另外你用的 flink
版本是哪个版本?
Thank you~
Xintong Song
On Tue, Dec 31, 2019 at 8:52 PM cs <58683...@qq.com> wrote:
> 谢谢您的回答,我还有个问题想请教下
> 当tm的内存超过一定大小,-XX:NewSize的大小都是一样的
> 例如tm设置15G -XX:NewSize=2442764288
> tm设置20G 新生代还是 -XX:NewSize=244276428
| |
|
|
??zjkingdom2...@163.com
|
??
??2020??01??02?? 08:09?? ??
??
-- --
??: ""
??
-- --
??: ""
有人知道么
| |
张江
|
|
邮箱:zjkingdom2...@163.com
|
签名由 网易邮箱大师 定制
在2019年12月31日 17:14,张江 写道:
Hi,
我是刚学习flink的菜鸟,现在想对一个算子,获取其处理一条数据记录的时间。请问这个应该怎么做?
谢谢
| |
张江
|
|
邮箱:zjkingdom2...@163.com
|
签名由 网易邮箱大师 定制
12 matches
Mail list logo