Re: flink on yarn 内存

2020-10-08 文章 Xintong Song
"user-zh" > < > tonysong...@gmail.com>; > 发送时间: 2020年10月9日(星期五) 上午10:53 > 收件人: "user-zh" > 主题: Re: flink on yarn 内存 > > > > 你的理解没有错。cutoff 包含的既有 direct 内存也有 native 内存,native 内存是不受 maxDirectMemorySize > 控

Re: flink on yarn 内存

2020-10-08 文章 Xintong Song
你的理解没有错。cutoff 包含的既有 direct 内存也有 native 内存,native 内存是不受 maxDirectMemorySize 控制的。所以严格来说,是存在超用的可能性的。 我们无法准确知道 cutoff 内存中 direct/native 分别是多少,因此只能根据 direct 内存可能使用的最大值(即假设 cutoff 全部为 direct 内存)去设置 maxDirectMemorySize。如果设置的 maxDirectMemorySize 比实际需要的 direct 内存小,是一定会触发 OOM 的;反之如果设置的 maxDirectMemorySize