direct 内存用量触及 maxDirectMemorySize 只是触发 GC 的一个条件，其他像 heap 空间不足、metaspace
空间不足也都有可能触发 GC。一般情况下，heap 上的内存申请释放活动会更加活跃，会比 direct 内存更早触发
GC。当然也不排除在一些特殊的情况下，direct 内存会先达到上限，因此还是存在 container 超用的可能的。
Thank you~
Xintong Song
On Fri, Oct 9, 2020 at 11:45 AM 蒋佳成(Jiacheng Jiang) <920334...@qq.com>
wrote:
能不能再具体一点，什么类型的表，做了什么样的操作？？？
chegg_work 于2020年10月2日周五 下午8:14写道：
>
>
大家好，请假一个问题:
场景是这样的,flink消费kafka，清洗后按分、时、天的维度(其中小时的聚合数据源来自分钟的聚合输出，天类似)进行聚合后sink
hi Xintong:
directgc??maxDirectMemorysystem.gc()??maxDirectMemorykill??
----
??:
谢谢
我看了那个issue，有问题的是jdk 1.8_060版本的，我们用的是074版本的。
我测试环境尝试升级一下jdk到251版本。
--
Sent from: http://apache-flink.147419.n8.nabble.com/
你的理解没有错。cutoff 包含的既有 direct 内存也有 native 内存，native 内存是不受 maxDirectMemorySize
控制的。所以严格来说，是存在超用的可能性的。
我们无法准确知道 cutoff 内存中 direct/native 分别是多少，因此只能根据 direct 内存可能使用的最大值（即假设 cutoff
全部为 direct 内存）去设置 maxDirectMemorySize。如果设置的 maxDirectMemorySize 比实际需要的
direct 内存小，是一定会触发 OOM 的；反之如果设置的 maxDirectMemorySize
Hi
增量 checkpoint 是指，每次只上传的 *必须的* sst 文件。因为 RocksDB 生成的 sst 文件是不可变的，所以之前上传过的
sst 文件直接引用即可，这样减少了很多 sst 文件的上传（也减少了 HDFS 的存储和删除等操作）
Best,
Congxian
宁吉浩 于2020年10月9日周五 上午10:20写道：
> 没看过源码，看过一些文档，结论还需验证(应该不用了)。
> 增量checkpoint指的是
>
没看过源码，看过一些文档，结论还需验证(应该不用了)。
增量checkpoint指的是
把内存中的state写入hdfs的时不全量写入，而是写入和上次checkpoint不一致的地方，hdfs底层文件的话会有依赖关系。也就是说本次的依赖上一次，上一次的依赖上上一次。
底部还有一个逻辑是定期合并checkpoint，这个是操作hdfs文件的，checkpoint保留个数可以配置，实际上hdfs上也不会存储太多checkpoint，就是合并这些state。
如下是官网连接:
Hi，
flink的savepoint，checkpoint在任务如何修改的情况下还能沿用，如何修改下就只能重新消费了
zjfpla...@hotmail.com
试一试select * from OrderA orderA join OrderB orderB on
orderA.user=orderB.user
On Sun, Oct 4, 2020 at 5:09 PM 忝忝向仧 <153488...@qq.com> wrote:
> Hi,all:
>
>
> Table api的sql查询里面join的时候不能写"."么?
> 这样写就会报错 如下
> Exception in thread "main" org.apache.flink.table.api.SqlParserException:
> SQL parse
Please send email with any content to -subscr...@flink.apache.org
for subscription.
For example, mailto:user-zh-subscr...@flink.apache.org to subscribe
user-zh@flink.apache.org
Best,
tison.
葛春法-18667112979 于2020年10月8日周四 下午8:45写道：
> I want to subscribe flink mail.
I want to subscribe flink mail.
12 matches
Mail list logo
