内存申请是在 MemoryUtils#allocateUnsafe 。这里面最重要的是要通过 Unsafe 的 private static field 拿到 Unsafe 对象，这部分逻辑是在 MemoryUtils#getUnsafe 。
Thank you~ Xintong Song On Wed, May 6, 2020 at 5:41 PM 蒋佳成(Jiacheng Jiang) <920334...@qq.com> wrote: > hi Xintong，你能够告诉我flink中申请managed memory相关代码是在哪个类中吗？我想看看flink中native > memory是怎么申请的 > > > > > ------------------ 原始邮件 ------------------ > 发件人: "Xintong Song"<tonysong...@gmail.com>; > 发送时间: 2020年4月30日(星期四) 下午4:04 > 收件人: "user-zh"<user-zh@flink.apache.org>; > 主题: Re: flink 1.10内存设置 > > > > 常见的方法包括： > - JNI 调用 > - 通过 ProcessBuilder 启动一个新进程 > > - 通过 java reflection 调用 java 私有方法，绕过 JVM direct memory 计数申请 direct / mapped > buffer > > Thank you~ > > Xintong Song > > > > > On Thu, Apr 30, 2020 at 3:15 PM 蒋佳成(Jiacheng Jiang) < > 920334...@qq.com> > wrote: > > > hi Xintong。java是怎么操作native memory的？有相应的api吗？ > > > > > > > > > > ------------------&nbsp;原始邮件&nbsp;------------------ > > 发件人: "Xintong Song"<tonysong...@gmail.com > &gt;; > > 发送时间: 2020年4月28日(星期二) 中午11:15 > > 收件人: "user-zh"<user-zh@flink.apache.org&gt;; > > 主题: Re: flink 1.10内存设置 > > > > > > > > > > > Managed&nbsp;用的是&nbsp;native&nbsp;memory，是不受&nbsp;JVM&nbsp;管理的，因此不会体现在&nbsp;JVM > > 的启动参数上。可以参考一下邮件列表里之前的讨论内容[1]。 > > > > Thank&nbsp;you~ > > > > Xintong&nbsp;Song > > > > > > [1]&nbsp; > http://apache-flink.147419.n8.nabble.com/Flink-tt1869.html > > < > http://apache-flink.147419.n8.nabble.com/Flink-tt1869.html#a1872&gt; > > > > > > > On&nbsp;Tue,&nbsp;Apr&nbsp;28,&nbsp;2020&nbsp;at&nbsp;9:32&nbsp;AM&nbsp;蒋佳成(Jiacheng&nbsp;Jiang)&nbsp;< > > 920334...@qq.com&gt; > > wrote: > > > > &gt;&nbsp;hi&amp;nbsp;Xintong > > &gt;&nbsp;&amp;nbsp;&nbsp;&amp;nbsp; > > > > > &gt;&nbsp;我还有一个问题，flink1.10在启动的时候会设置-Xmx,-Xms,-XX:MaxDirectMomerySize,-XX:MaxMetaspaceSize，官网也给出了这些设置的计算公式，但是并没有看见managed > > > &gt;&nbsp;memory在哪里，managed&nbsp;memory似乎不属于jvm的堆，堆外和metaspace。那么managed > > &gt;&nbsp;memory属于哪块内存呢？为什么没有设置相应的jvm参数呢？ > > &gt; > > &gt; > > &gt; > > &gt; > > > &gt;&nbsp;------------------&amp;nbsp;原始邮件&amp;nbsp;------------------ > > > &gt;&nbsp;发件人:&nbsp;&quot;Xintong&nbsp;Song&quot;< > tonysong...@gmail.com > > &amp;gt;; > > &gt;&nbsp;发送时间:&nbsp;2020年4月27日(星期一)&nbsp;晚上6:56 > > &gt;&nbsp;收件人:&nbsp;&quot;user-zh&quot;< > user-zh@flink.apache.org&amp;gt;; > > > &gt;&nbsp;主题:&nbsp;Re:&nbsp;flink&nbsp;1.10内存设置 > > &gt; > > &gt; > > &gt; > > &gt; > > > > > &gt;&nbsp;&amp;nbsp;Framework&amp;nbsp;Off-heap&amp;nbsp;和&amp;nbsp;Task&amp;nbsp;Off-Heap&amp;nbsp;之间是没有隔离的。Network > > > > > &gt;&nbsp;可以认为和前面两者是有隔离的，会在初始化的时候申请一个固定大小的&amp;nbsp;buffer&amp;nbsp;pool，整个运行过程中的内存占用是一个常量。 > > &gt; > > &gt;&nbsp;Thank&amp;nbsp;you~ > > &gt; > > &gt;&nbsp;Xintong&amp;nbsp;Song > > &gt; > > &gt; > > &gt; > > &gt; > > > > > &gt;&nbsp;On&amp;nbsp;Mon,&amp;nbsp;Apr&amp;nbsp;27,&amp;nbsp;2020&amp;nbsp;at&amp;nbsp;6:14&amp;nbsp;PM&amp;nbsp;蒋佳成(Jiacheng&amp;nbsp;Jiang)&amp;nbsp;< > > &gt;&nbsp;920334...@qq.com&amp;gt; > > &gt;&nbsp;wrote: > > &gt; > > > > > &gt;&nbsp;&amp;gt;&amp;nbsp;Thank&amp;amp;nbsp;you&amp;amp;nbsp;Xintong.我还有一个问题官网上： > > &gt; > > > > > &gt;&nbsp;&amp;gt;&amp;nbsp;-XX:MaxDirectMemorySizeFramework&amp;nbsp;+&amp;nbsp;Task&amp;nbsp;Off-Heap&amp;nbsp;+&amp;nbsp;Network&amp;nbsp;Memory > > &gt; > > > > > &gt;&nbsp;&amp;gt;&amp;nbsp;MaxDirectMemorySize=Framework&amp;amp;nbsp;Off-Heap&amp;amp;nbsp;+&amp;nbsp;Task&amp;nbsp;Off-Heap&amp;nbsp;+&amp;nbsp;Network > > &gt; > > > > > &gt;&nbsp;&amp;gt;&amp;nbsp;Memory。假如MaxDirectMemorySize=10，那么10=1+1+8和10=1+8+1,这2种情况有什么不一样吗？我的意思是这3个堆外内存有隔离吗？我之前没有设置task > > > &gt;&nbsp;&amp;gt;&amp;nbsp;off-heap，但是还能启一个job，感觉没有隔离。 > > &gt;&nbsp;&amp;gt; > > &gt;&nbsp;&amp;gt; > > &gt;&nbsp;&amp;gt; > > > > > &gt;&nbsp;&amp;gt;&amp;nbsp;------------------&amp;amp;nbsp;原始邮件&amp;amp;nbsp;------------------ > > > > > &gt;&nbsp;&amp;gt;&amp;nbsp;发件人:&amp;nbsp;&amp;quot;Xintong&amp;nbsp;Song&amp;quot;< > > tonysong...@gmail.com > > &gt;&nbsp;&amp;amp;gt;; > > > &gt;&nbsp;&amp;gt;&amp;nbsp;发送时间:&amp;nbsp;2020年4月27日(星期一)&amp;nbsp;中午12:06 > > > &gt;&nbsp;&amp;gt;&amp;nbsp;收件人:&amp;nbsp;&amp;quot;user-zh&amp;quot;< > > user-zh@flink.apache.org&amp;amp;gt;; > > > > > &gt;&nbsp;&amp;gt;&amp;nbsp;主题:&amp;nbsp;Re:&amp;nbsp;flink&amp;nbsp;1.10内存设置 > > &gt;&nbsp;&amp;gt; > > &gt;&nbsp;&amp;gt; > > &gt;&nbsp;&amp;gt; > > &gt;&nbsp;&amp;gt;&amp;nbsp;你好， > > &gt;&nbsp;&amp;gt; > > &gt;&nbsp;&amp;gt; > > &gt; > > > > > &gt;&nbsp;&amp;gt;&amp;nbsp;Flink&amp;amp;nbsp;1.10&amp;amp;nbsp;对不同的内存类型进行了更精细的控制，明确了总内存中每种类型、用途的内存的大小。举个例子，如果简单考虑&amp;amp;nbsp;TM&amp;amp;nbsp;中有&amp;amp;nbsp;heap, > > &gt;&nbsp;&amp;gt; > > &gt; > > > > > &gt;&nbsp;&amp;gt;&amp;nbsp;direct,&amp;amp;nbsp;native&amp;amp;nbsp;三种内存类型，总内存大小是&amp;amp;nbsp;300mb。在之前的版本中，可能是&amp;amp;nbsp;heap&amp;amp;nbsp;固定占用100mb，剩下&amp;amp;nbsp;direct&amp;amp;nbsp;和 > > &gt;&nbsp;&amp;gt; > > &gt; > > > > > &gt;&nbsp;&amp;gt;&amp;nbsp;native&amp;amp;nbsp;共用&amp;amp;nbsp;200mb。理论上，direct/native&amp;amp;nbsp;可以分别占用&amp;amp;nbsp;200/0,&amp;amp;nbsp;100/100,&amp;amp;nbsp;0/200，只要总大小不超过&amp;amp;nbsp;200 > > &gt;&nbsp;&amp;gt; > > &gt; > > > > > &gt;&nbsp;&amp;gt;&amp;nbsp;即可。但是一旦出现超用，我们很难判断是&amp;amp;nbsp;direct&amp;amp;nbsp;还是&amp;amp;nbsp;native&amp;amp;nbsp;内存造成的。在&amp;amp;nbsp;Flink&amp;amp;nbsp;1.10&amp;amp;nbsp;里，对&amp;amp;nbsp;direct/native > > &gt; > > > > > &gt;&nbsp;&amp;gt;&amp;nbsp;分别用多少也做了明确的划分，这样一旦出现内存不足，就能够知道是哪部分造成的。上述描述是对内存模型做了简化，实际&amp;amp;nbsp;Flink > > > &gt;&nbsp;&amp;gt;&amp;nbsp;考虑的内存类型不只三种，具体可以参考相关文档[1]。 > > &gt;&nbsp;&amp;gt; > > > > > &gt;&nbsp;&amp;gt;&amp;nbsp;针对你的问题，是&amp;amp;nbsp;direct&amp;amp;nbsp;内存不足造成的，在不改变总内存大小的情况下，可以调大 > > > > > &gt;&nbsp;&amp;gt;&amp;nbsp;‘taskmanager.memory.task.off-heap.size’&amp;amp;nbsp;，详见[2]。 > > &gt;&nbsp;&amp;gt; > > &gt;&nbsp;&amp;gt; > > &gt; > > > > > &gt;&nbsp;&amp;gt;&amp;nbsp;关于隔离，Flink&amp;amp;nbsp;中一个&amp;amp;nbsp;TM&amp;amp;nbsp;上的多个&amp;amp;nbsp;slot&amp;amp;nbsp;是跑在同一个进程中的，由于&amp;amp;nbsp;JVM&amp;amp;nbsp;自身的特点，进程内不同线程的内存是没有隔离的。Flink > > &gt;&nbsp;&amp;gt; > > &gt; > > > > > &gt;&nbsp;&amp;gt;&amp;nbsp;仅对托管内存（managed&amp;amp;nbsp;memory）[3]&amp;amp;nbsp;进行了隔离，这部分内存是由&amp;amp;nbsp;Flink&amp;amp;nbsp;负责管理申请、分配、释放的，不依赖于&amp;amp;nbsp;JVM > > &gt;&nbsp;&amp;gt; > > &gt; > > > > > &gt;&nbsp;&amp;gt;&amp;nbsp;的垃圾回收机制。托管内存目前仅用于&amp;amp;nbsp;RocksDBStateBackend&amp;amp;nbsp;和部分&amp;amp;nbsp;Batch&amp;amp;nbsp;算子，与你现在遇到的&amp;amp;nbsp;direct&amp;amp;nbsp;oom&amp;amp;nbsp;的问题无关。 > > &gt;&nbsp;&amp;gt; > > > &gt;&nbsp;&amp;gt;&amp;nbsp;Thank&amp;amp;nbsp;you~ > > &gt;&nbsp;&amp;gt; > > > &gt;&nbsp;&amp;gt;&amp;nbsp;Xintong&amp;amp;nbsp;Song > > &gt;&nbsp;&amp;gt; > > &gt;&nbsp;&amp;gt; > > &gt;&nbsp;&amp;gt;&amp;nbsp;[1] > > &gt;&nbsp;&amp;gt; > > &gt;&nbsp;&amp;gt;&amp;nbsp; > > &gt;&nbsp; > > > https://ci.apache.org/projects/flink/flink-docs-release-1.10/zh/ops/memory/mem_detail.html > > &gt;&nbsp;&amp;gt;&amp;nbsp;[2] > > &gt;&nbsp;&amp;gt; > > &gt;&nbsp;&amp;gt;&amp;nbsp; > > &gt;&nbsp; > > > https://ci.apache.org/projects/flink/flink-docs-release-1.10/zh/ops/memory/mem_trouble.html#outofmemoryerror-direct-buffer-memory > > &gt;&nbsp;&amp;gt;&amp;nbsp;[3] > <https://ci.apache.org/projects/flink/flink-docs-release-1.10/zh/ops/memory/mem_trouble.html#outofmemoryerror-direct-buffer-memory> &gt;&nbsp;&amp;gt;&amp;nbsp;[3]> > > < > https://ci.apache.org/projects/flink/flink-docs-release-1.10/zh/ops/memory/mem_trouble.html#outofmemoryerror-direct-buffer-memory&gt;&nbsp;&amp;gt;&amp;nbsp;[3]> > ; > > &gt;&nbsp;< > > > https://ci.apache.org/projects/flink/flink-docs-release-1.10/zh/ops/memory/mem_trouble.html#outofmemoryerror-direct-buffer-memory&amp;gt;&amp;nbsp;[3]&gt > >  > <https://ci.apache.org/projects/flink/flink-docs-release-1.10/zh/ops/memory/mem_trouble.html#outofmemoryerror-direct-buffer-memory&amp;gt;&amp;nbsp;[3]&gt> > > ;; > > &gt;&nbsp;&amp;gt; > > &gt;&nbsp;&amp;gt;&amp;nbsp; > > &gt;&nbsp; > > > https://ci.apache.org/projects/flink/flink-docs-release-1.10/zh/ops/memory/mem_setup.html#%E6%89%98%E7%AE%A1%E5%86%85%E5%AD%98 > > &gt;&nbsp;&amp;gt > <https://ci.apache.org/projects/flink/flink-docs-release-1.10/zh/ops/memory/mem_setup.html#%E6%89%98%E7%AE%A1%E5%86%85%E5%AD%98> &gt;&nbsp;&amp;gt> > > < > https://ci.apache.org/projects/flink/flink-docs-release-1.10/zh/ops/memory/mem_setup.html#%E6%89%98%E7%AE%A1%E5%86%85%E5%AD%98&gt;&nbsp;&amp;gt> > ; > > &gt;&nbsp;< > > > https://ci.apache.org/projects/flink/flink-docs-release-1.10/zh/ops/memory/mem_setup.html#%E6%89%98%E7%AE%A1%E5%86%85%E5%AD%98&amp;gt&gt > >  > <https://ci.apache.org/projects/flink/flink-docs-release-1.10/zh/ops/memory/mem_setup.html#%E6%89%98%E7%AE%A1%E5%86%85%E5%AD%98&amp;gt&gt> > > ;; > > &gt;&nbsp;; > > &gt;&nbsp;&amp;gt; > > &gt; > > > > > &gt;&nbsp;&amp;gt;&amp;nbsp;On&amp;amp;nbsp;Mon,&amp;amp;nbsp;Apr&amp;amp;nbsp;27,&amp;amp;nbsp;2020&amp;amp;nbsp;at&amp;amp;nbsp;10:31&amp;amp;nbsp;AM&amp;amp;nbsp;蒋佳成(Jiacheng&amp;amp;nbsp;Jiang)&amp;amp;nbsp;< > > &gt;&nbsp;&amp;gt;&amp;nbsp;920334...@qq.com > &amp;amp;gt; > > &gt;&nbsp;&amp;gt;&amp;nbsp;wrote: > > &gt;&nbsp;&amp;gt; > > > &gt;&nbsp;&amp;gt;&amp;nbsp;&amp;amp;gt;&amp;amp;nbsp;hi > > &gt;&nbsp;&amp;gt;&amp;nbsp;&amp;amp;gt; > > &gt;&nbsp;&amp;gt;&amp;nbsp;&amp;amp;gt; > > &gt; > > > > > &gt;&nbsp;&amp;gt;&amp;nbsp;&amp;amp;gt;&amp;amp;nbsp;&amp;amp;amp;nbsp;&amp;amp;nbsp;&amp;amp;amp;nbsp;我有个测试的单机的standalone > > &gt;&nbsp;&amp;gt; > > &gt; > > > > > &gt;&nbsp;&amp;gt;&amp;nbsp;&amp;amp;gt;&amp;amp;nbsp;flink，平时跑几个测试job，tm内存设置了8g。最近升级了flink1.10，只设置了taskmanager.memory.flink.size为10g。但是启了一个数据量最大的job后，就无法再启动第二个job了，报内存不够：java.lang.OutOfMemoryError: > > &gt; > > > > > &gt;&nbsp;&amp;gt;&amp;nbsp;&amp;amp;gt;&amp;amp;nbsp;Direct&amp;amp;nbsp;buffer&amp;amp;nbsp;memory。这是1个job就基本把所有的Direct > > &gt;&nbsp;&amp;gt; > > &gt; > > > > > &gt;&nbsp;&amp;gt;&amp;nbsp;&amp;amp;gt;&amp;amp;nbsp;Memory占完了吗？如果是这样的话，flink1.10还适合跑standalone&amp;amp;nbsp;cluster吗？slot没有隔离这个内存吗？ > > &gt;&nbsp;&amp;gt; > > &gt; > > > > > &gt;&nbsp;&amp;gt;&amp;nbsp;&amp;amp;gt;&amp;amp;nbsp;在官网讲解slot的地方有这么一句话：A&amp;amp;nbsp;TaskManager&amp;amp;nbsp;with&amp;amp;nbsp;three&amp;amp;nbsp;slots,&amp;amp;nbsp;for&amp;amp;nbsp;example,&amp;amp;nbsp;will > > &gt;&nbsp;&amp;gt; > > &gt; > > > > > &gt;&nbsp;&amp;gt;&amp;nbsp;&amp;amp;gt;&amp;amp;nbsp;dedicate&amp;amp;nbsp;1/3&amp;amp;nbsp;of&amp;amp;nbsp;its&amp;amp;nbsp;managed&amp;amp;nbsp;memory&amp;amp;nbsp;to&amp;amp;nbsp;each&amp;amp;nbsp;slot.&amp;amp;amp;nbsp;这里的its&amp;amp;nbsp;managed > > &gt; > > > > > &gt;&nbsp;&amp;gt;&amp;nbsp;&amp;amp;gt;&amp;amp;nbsp;memory指的是taskmanager.memory.managed.size产生指定的内存吗？ > > &gt;&nbsp;&amp;gt;&amp;nbsp;&amp;amp;gt; > > &gt;&nbsp;&amp;gt;&amp;nbsp;&amp;amp;gt; > > > > > &gt;&nbsp;&amp;gt;&amp;nbsp;&amp;amp;gt;&amp;amp;nbsp;best&amp;amp;amp;nbsp; > > > &gt;&nbsp;&amp;gt;&amp;nbsp;&amp;amp;gt;&amp;amp;nbsp;Jungle
