Re: FLINK 1.9.1 StreamingFileSink 压缩问题
Hi, 看起来你只能改下connector代码才能支持压缩了： ParquetAvroWriters.createAvroParquetWriter里：设置AvroParquetWriter.Builder的压缩格式。 Best, Jingsong Lee -- From:USERNAME Send Time:2020年1月2日(星期四) 13:36 To:user-zh Subject:FLINK 1.9.1 StreamingFileSink 压缩问题 各位好，FLINK 1.9.1 使用 StreamingFileSink 写Parquet到HDFS，能启用压缩吗？ --代码 StreamingFileSink sink = StreamingFileSink .forBulkFormat(new Path(FILE_HDFS_PATH), ParquetAvroWriters.forReflectRecord(HDFSBean.class)) .withBucketAssigner(new DateTimeBucketAssigner<>(FILE_HDFS_FORMAT)) .build();
Re: How should i set the field type in mysql when i use temporal table join between kafka and jdbc ?
Hi, user-zh我就说中文啦. 你需要设置成bigint. 具体报什么错？ Best, Jingsong Lee -- From:刘世民 Send Time:2020年1月2日(星期四) 13:47 To:user-zh Subject:How should i set the field type in mysql when i use temporal table join between kafka and jdbc ? for example, num_count field type is Long, but no matter if i set it to bigint or something else in mysql table, it has always report errorr... so,what can i should set num_count field type in mysql? thanks Best ! amenhub
?????? Re: flink??????????????
??tm??gc??flink1.8 heap10.25GB??heap??1/33.41GB ??heap2442764288byte ??jvm ---- ??:"Xintong Song"
How should i set the field type in mysql when i use temporal table join between kafka and jdbc ?
for example, num_count field type is Long, but no matter if i set it to bigint or something else in mysql table, it has always report errorr... so,what can i should set num_count field type in mysql? thanks Best ! amenhub
Re: Re: flink内存分配的问题
我知道 -XX:NewSize 是 JVM 的参数。 我的意思是说，Flink 并没有自动地去设置 JVM 的这个参数，你是从哪里看到这个参数被设置成了 2442764288 的呢？ Thank you~ Xintong Song On Thu, Jan 2, 2020 at 10:03 AM pengchenglin wrote: > 这个是jdk的参数，可以通过flink的env.java.opts配置 > > 发件人： Xintong Song > 发送时间： 2020-01-02 09:54 > 收件人： user-zh > 主题： Re: flink内存分配的问题 > 我不确定你说的 -XX:NewSize=2442764288 是从哪里看到的，据我所知 flink 似乎没有设置这个参数。另外你用的 flink > 版本是哪个版本？ > > Thank you~ > > Xintong Song > > > > On Tue, Dec 31, 2019 at 8:52 PM cs <58683...@qq.com> wrote: > > > 谢谢您的回答，我还有个问题想请教下 > > 当tm的内存超过一定大小，-XX:NewSize的大小都是一样的 > > 例如tm设置15G -XX:NewSize=2442764288 > > tm设置20G 新生代还是 -XX:NewSize=2442764288 > > 这是为什么呢？ > > > > > > > > > > --原始邮件-- > > 发件人:"Xintong Song" > 发送时间:2019年12月31日(星期二) 晚上6:10 > > 收件人:"user-zh" > > > 主题:Re: flink内存分配的问题 > > > > > > > > FLINK TM 中是用到了大量的堆外内存的，除了通常意义的 JVM 的栈空间、方法区等堆外开销外，还包括网络 buffer、batch > > 缓存、RocksDB等。 > > > > > 默认配置是相对保守，为了保证大多数情况下预留出足够的堆外内存。具体是否设置过大了，要看具体运行的作业的情况。可以尝试通过配置'containerized.heap-cutoff-ratio'进行调整。 > > > > 另外，即将发布的flink 1.10版本中对TM的内存计算进行了优化，不再采用cutoff而是根据用途列出了更具体的配置项，欢迎试用 > > > > Thank you~ > > > > Xintong Song > > > > > > > > On Tue, Dec 31, 2019 at 5:53 PM cs <58683...@qq.com wrote: > > > > taskmanager的内存设置为15G但实际的heap只有10G > > 看了tm内存分配的源码1.计算cutoff(15GB * 0.25) 2.计算heap大小(heap计算的入参是15GB - > > cutoff大小) > > 3.计算offheap大小(offheap的大小等于15GB-heap大小) > > offheap就是最终的-XX:MaxDirectMemorySize的大小 > > 想请教下MaxDirectMemorySize的大小有必要设置这么大吗？ >
????????????????????????????????????????
?? ProcessFunction CoProcessFunction ProcessWindowFunction ProcessAllWindowFunction ID ?? ??ID ID1 ??kafka-offset?? ??flink ? ?? ?? ---- ??:""
Re: Re: flink内存分配的问题
这个是jdk的参数，可以通过flink的env.java.opts配置 发件人： Xintong Song 发送时间： 2020-01-02 09:54 收件人： user-zh 主题： Re: flink内存分配的问题 我不确定你说的 -XX:NewSize=2442764288 是从哪里看到的，据我所知 flink 似乎没有设置这个参数。另外你用的 flink 版本是哪个版本？ Thank you~ Xintong Song On Tue, Dec 31, 2019 at 8:52 PM cs <58683...@qq.com> wrote: > 谢谢您的回答，我还有个问题想请教下 > 当tm的内存超过一定大小，-XX:NewSize的大小都是一样的 > 例如tm设置15G -XX:NewSize=2442764288 > tm设置20G 新生代还是 -XX:NewSize=2442764288 > 这是为什么呢？ > > > > > --原始邮件-- > 发件人:"Xintong Song" 发送时间:2019年12月31日(星期二) 晚上6:10 > 收件人:"user-zh" > 主题:Re: flink内存分配的问题 > > > > FLINK TM 中是用到了大量的堆外内存的，除了通常意义的 JVM 的栈空间、方法区等堆外开销外，还包括网络 buffer、batch > 缓存、RocksDB等。 > > 默认配置是相对保守，为了保证大多数情况下预留出足够的堆外内存。具体是否设置过大了，要看具体运行的作业的情况。可以尝试通过配置'containerized.heap-cutoff-ratio'进行调整。 > > 另外，即将发布的flink 1.10版本中对TM的内存计算进行了优化，不再采用cutoff而是根据用途列出了更具体的配置项，欢迎试用 > > Thank you~ > > Xintong Song > > > > On Tue, Dec 31, 2019 at 5:53 PM cs <58683...@qq.com wrote: > > taskmanager的内存设置为15G但实际的heap只有10G > 看了tm内存分配的源码1.计算cutoff(15GB * 0.25) 2.计算heap大小(heap计算的入参是15GB - > cutoff大小) > 3.计算offheap大小(offheap的大小等于15GB-heap大小) > offheap就是最终的-XX:MaxDirectMemorySize的大小 > 想请教下MaxDirectMemorySize的大小有必要设置这么大吗？
Re: flink内存分配的问题
我不确定你说的 -XX:NewSize=2442764288 是从哪里看到的，据我所知 flink 似乎没有设置这个参数。另外你用的 flink 版本是哪个版本？ Thank you~ Xintong Song On Tue, Dec 31, 2019 at 8:52 PM cs <58683...@qq.com> wrote: > 谢谢您的回答，我还有个问题想请教下 > 当tm的内存超过一定大小，-XX:NewSize的大小都是一样的 > 例如tm设置15G -XX:NewSize=2442764288 > tm设置20G 新生代还是 -XX:NewSize=2442764288 > 这是为什么呢？ > > > > > --原始邮件-- > 发件人:"Xintong Song" 发送时间:2019年12月31日(星期二) 晚上6:10 > 收件人:"user-zh" > 主题:Re: flink内存分配的问题 > > > > FLINK TM 中是用到了大量的堆外内存的，除了通常意义的 JVM 的栈空间、方法区等堆外开销外，还包括网络 buffer、batch > 缓存、RocksDB等。 > > 默认配置是相对保守，为了保证大多数情况下预留出足够的堆外内存。具体是否设置过大了，要看具体运行的作业的情况。可以尝试通过配置'containerized.heap-cutoff-ratio'进行调整。 > > 另外，即将发布的flink 1.10版本中对TM的内存计算进行了优化，不再采用cutoff而是根据用途列出了更具体的配置项，欢迎试用 > > Thank you~ > > Xintong Song > > > > On Tue, Dec 31, 2019 at 5:53 PM cs <58683...@qq.com wrote: > > taskmanager的内存设置为15G但实际的heap只有10G > 看了tm内存分配的源码1.计算cutoff(15GB * 0.25) 2.计算heap大小(heap计算的入参是15GB - > cutoff大小) > 3.计算offheap大小(offheap的大小等于15GB-heap大小) > offheap就是最终的-XX:MaxDirectMemorySize的大小 > 想请教下MaxDirectMemorySize的大小有必要设置这么大吗？
????????????????????????????????????????
| | | | ??zjkingdom2...@163.com | ?? ??2020??01??02?? 08:09?? ?? ?? ---- ??:""
????????????????????????????????????????
?? ---- ??:""
回复：如何获取算子处理一条数据记录的时间
有人知道么 | | 张江 | | 邮箱：zjkingdom2...@163.com | 签名由 网易邮箱大师 定制 在2019年12月31日 17:14，张江 写道： Hi， 我是刚学习flink的菜鸟，现在想对一个算子，获取其处理一条数据记录的时间。请问这个应该怎么做？ 谢谢 | | 张江 | | 邮箱：zjkingdom2...@163.com | 签名由 网易邮箱大师 定制
