hi Xintong??????????????flink??????managed memory????????????????????????????????flink??native memory????????????
------------------ ???????? ------------------ ??????: "Xintong Song"<tonysong...@gmail.com>; ????????: 2020??4??30??(??????) ????4:04 ??????: "user-zh"<user-zh@flink.apache.org>; ????: Re: flink 1.10???????? ???????????????? - JNI ???? - ???? ProcessBuilder ?????????????? - ???? java reflection ???? java ?????????????? JVM direct memory ???????? direct / mapped buffer Thank you~ Xintong Song On Thu, Apr 30, 2020 at 3:15 PM ??????(Jiacheng Jiang) <920334...@qq.com> wrote: > hi Xintong??java??????????native memory????????????api???? > > > > > ------------------&nbsp;????????&nbsp;------------------ > ??????: "Xintong Song"<tonysong...@gmail.com&gt;; > ????????: 2020??4??28??(??????) ????11:15 > ??????: "user-zh"<user-zh@flink.apache.org&gt;; > ????: Re: flink 1.10???????? > > > > > Managed&nbsp;??????&nbsp;native&nbsp;memory????????&nbsp;JVM&nbsp;??????????????????????&nbsp;JVM > ??????????????????????????????????????????????????[1]?? > > Thank&nbsp;you~ > > Xintong&nbsp;Song > > > [1]&nbsp;http://apache-flink.147419.n8.nabble.com/Flink-tt1869.html > <http://apache-flink.147419.n8.nabble.com/Flink-tt1869.html#a1872&gt; > > > On&nbsp;Tue,&nbsp;Apr&nbsp;28,&nbsp;2020&nbsp;at&nbsp;9:32&nbsp;AM&nbsp;??????(Jiacheng&nbsp;Jiang)&nbsp;< > 920334...@qq.com&gt; > wrote: > > &gt;&nbsp;hi&amp;nbsp;Xintong > &gt;&nbsp;&amp;nbsp;&nbsp;&amp;nbsp; > > &gt;&nbsp;????????????????flink1.10??????????????????-Xmx,-Xms,-XX:MaxDirectMomerySize,-XX:MaxMetaspaceSize????????????????????????????????????????????????managed > &gt;&nbsp;memory????????managed&nbsp;memory??????????jvm????????????metaspace??????managed > &gt;&nbsp;memory????????????????????????????????????jvm???????? > &gt; > &gt; > &gt; > &gt; > &gt;&nbsp;------------------&amp;nbsp;????????&amp;nbsp;------------------ > &gt;&nbsp;??????:&nbsp;&quot;Xintong&nbsp;Song&quot;<tonysong...@gmail.com > &amp;gt;; > &gt;&nbsp;????????:&nbsp;2020??4??27??(??????)&nbsp;????6:56 > &gt;&nbsp;??????:&nbsp;&quot;user-zh&quot;<user-zh@flink.apache.org&amp;gt;; > &gt;&nbsp;????:&nbsp;Re:&nbsp;flink&nbsp;1.10???????? > &gt; > &gt; > &gt; > &gt; > > &gt;&nbsp;&amp;nbsp;Framework&amp;nbsp;Off-heap&amp;nbsp;??&amp;nbsp;Task&amp;nbsp;Off-Heap&amp;nbsp;??????????????????Network > > &gt;&nbsp;????????????????????????????????????????????????????????????????&amp;nbsp;buffer&amp;nbsp;pool?????????????????????????????????????? > &gt; > &gt;&nbsp;Thank&amp;nbsp;you~ > &gt; > &gt;&nbsp;Xintong&amp;nbsp;Song > &gt; > &gt; > &gt; > &gt; > > &gt;&nbsp;On&amp;nbsp;Mon,&amp;nbsp;Apr&amp;nbsp;27,&amp;nbsp;2020&amp;nbsp;at&amp;nbsp;6:14&amp;nbsp;PM&amp;nbsp;??????(Jiacheng&amp;nbsp;Jiang)&amp;nbsp;< > &gt;&nbsp;920334...@qq.com&amp;gt; > &gt;&nbsp;wrote: > &gt; > > &gt;&nbsp;&amp;gt;&amp;nbsp;Thank&amp;amp;nbsp;you&amp;amp;nbsp;Xintong.?????????????????????? > &gt; > > &gt;&nbsp;&amp;gt;&amp;nbsp;-XX:MaxDirectMemorySizeFramework&amp;nbsp;+&amp;nbsp;Task&amp;nbsp;Off-Heap&amp;nbsp;+&amp;nbsp;Network&amp;nbsp;Memory > &gt; > > &gt;&nbsp;&amp;gt;&amp;nbsp;MaxDirectMemorySize=Framework&amp;amp;nbsp;Off-Heap&amp;amp;nbsp;+&amp;nbsp;Task&amp;nbsp;Off-Heap&amp;nbsp;+&amp;nbsp;Network > &gt; > > &gt;&nbsp;&amp;gt;&amp;nbsp;Memory??????MaxDirectMemorySize=10??????10=1+1+8??10=1+8+1,??2??????????????????????????????????3??????????????????????????????????task > &gt;&nbsp;&amp;gt;&amp;nbsp;off-heap????????????????job???????????????? > &gt;&nbsp;&amp;gt; > &gt;&nbsp;&amp;gt; > &gt;&nbsp;&amp;gt; > > &gt;&nbsp;&amp;gt;&amp;nbsp;------------------&amp;amp;nbsp;????????&amp;amp;nbsp;------------------ > > &gt;&nbsp;&amp;gt;&amp;nbsp;??????:&amp;nbsp;&amp;quot;Xintong&amp;nbsp;Song&amp;quot;< > tonysong...@gmail.com > &gt;&nbsp;&amp;amp;gt;; > &gt;&nbsp;&amp;gt;&amp;nbsp;????????:&amp;nbsp;2020??4??27??(??????)&amp;nbsp;????12:06 > &gt;&nbsp;&amp;gt;&amp;nbsp;??????:&amp;nbsp;&amp;quot;user-zh&amp;quot;< > user-zh@flink.apache.org&amp;amp;gt;; > > &gt;&nbsp;&amp;gt;&amp;nbsp;????:&amp;nbsp;Re:&amp;nbsp;flink&amp;nbsp;1.10???????? > &gt;&nbsp;&amp;gt; > &gt;&nbsp;&amp;gt; > &gt;&nbsp;&amp;gt; > &gt;&nbsp;&amp;gt;&amp;nbsp;?????? > &gt;&nbsp;&amp;gt; > &gt;&nbsp;&amp;gt; > &gt; > > &gt;&nbsp;&amp;gt;&amp;nbsp;Flink&amp;amp;nbsp;1.10&amp;amp;nbsp;????????????????????????????????????????????????????????????????????????????????????????????????????&amp;amp;nbsp;TM&amp;amp;nbsp;????&amp;amp;nbsp;heap, > &gt;&nbsp;&amp;gt; > &gt; > > &gt;&nbsp;&amp;gt;&amp;nbsp;direct,&amp;amp;nbsp;native&amp;amp;nbsp;??????????????????????????&amp;amp;nbsp;300mb????????????????????????&amp;amp;nbsp;heap&amp;amp;nbsp;????????100mb??????&amp;amp;nbsp;direct&amp;amp;nbsp;?? > &gt;&nbsp;&amp;gt; > &gt; > > &gt;&nbsp;&amp;gt;&amp;nbsp;native&amp;amp;nbsp;????&amp;amp;nbsp;200mb??????????direct/native&amp;amp;nbsp;????????????&amp;amp;nbsp;200/0,&amp;amp;nbsp;100/100,&amp;amp;nbsp;0/200??????????????????&amp;amp;nbsp;200 > &gt;&nbsp;&amp;gt; > &gt; > > &gt;&nbsp;&amp;gt;&amp;nbsp;??????????????????????????????????????&amp;amp;nbsp;direct&amp;amp;nbsp;????&amp;amp;nbsp;native&amp;amp;nbsp;??????????????&amp;amp;nbsp;Flink&amp;amp;nbsp;1.10&amp;amp;nbsp;??????&amp;amp;nbsp;direct/native > &gt; > > &gt;&nbsp;&amp;gt;&amp;nbsp;??????????????????????????????????????????????????????????????????????????????????????????????????????????????&amp;amp;nbsp;Flink > &gt;&nbsp;&amp;gt;&amp;nbsp;????????????????????????????????????????????[1]?? > &gt;&nbsp;&amp;gt; > > &gt;&nbsp;&amp;gt;&amp;nbsp;????????????????&amp;amp;nbsp;direct&amp;amp;nbsp;???????????????????????????????????????????????????? > > &gt;&nbsp;&amp;gt;&amp;nbsp;??taskmanager.memory.task.off-heap.size??&amp;amp;nbsp;??????[2]?? > &gt;&nbsp;&amp;gt; > &gt;&nbsp;&amp;gt; > &gt; > > &gt;&nbsp;&amp;gt;&amp;nbsp;??????????Flink&amp;amp;nbsp;??????&amp;amp;nbsp;TM&amp;amp;nbsp;????????&amp;amp;nbsp;slot&amp;amp;nbsp;??????????????????????????&amp;amp;nbsp;JVM&amp;amp;nbsp;??????????????????????????????????????????????Flink > &gt;&nbsp;&amp;gt; > &gt; > > &gt;&nbsp;&amp;gt;&amp;nbsp;??????????????managed&amp;amp;nbsp;memory??[3]&amp;amp;nbsp;??????????????????????????&amp;amp;nbsp;Flink&amp;amp;nbsp;????????????????????????????????????&amp;amp;nbsp;JVM > &gt;&nbsp;&amp;gt; > &gt; > > &gt;&nbsp;&amp;gt;&amp;nbsp;??????????????????????????????????&amp;amp;nbsp;RocksDBStateBackend&amp;amp;nbsp;??????&amp;amp;nbsp;Batch&amp;amp;nbsp;????????????????????&amp;amp;nbsp;direct&amp;amp;nbsp;oom&amp;amp;nbsp;???????????? > &gt;&nbsp;&amp;gt; > &gt;&nbsp;&amp;gt;&amp;nbsp;Thank&amp;amp;nbsp;you~ > &gt;&nbsp;&amp;gt; > &gt;&nbsp;&amp;gt;&amp;nbsp;Xintong&amp;amp;nbsp;Song > &gt;&nbsp;&amp;gt; > &gt;&nbsp;&amp;gt; > &gt;&nbsp;&amp;gt;&amp;nbsp;[1] > &gt;&nbsp;&amp;gt; > &gt;&nbsp;&amp;gt;&amp;nbsp; > &gt;&nbsp; > https://ci.apache.org/projects/flink/flink-docs-release-1.10/zh/ops/memory/mem_detail.html > &gt;&nbsp;&amp;gt;&amp;nbsp;[2] > &gt;&nbsp;&amp;gt; > &gt;&nbsp;&amp;gt;&amp;nbsp; > &gt;&nbsp; > https://ci.apache.org/projects/flink/flink-docs-release-1.10/zh/ops/memory/mem_trouble.html#outofmemoryerror-direct-buffer-memory > &gt;&nbsp;&amp;gt;&amp;nbsp;[3] > <https://ci.apache.org/projects/flink/flink-docs-release-1.10/zh/ops/memory/mem_trouble.html#outofmemoryerror-direct-buffer-memory&gt;&nbsp;&amp;gt;&amp;nbsp;[3]> > &gt;&nbsp;< > https://ci.apache.org/projects/flink/flink-docs-release-1.10/zh/ops/memory/mem_trouble.html#outofmemoryerror-direct-buffer-memory&amp;gt;&amp;nbsp;[3]&gt > ; > &gt;&nbsp;&amp;gt; > &gt;&nbsp;&amp;gt;&amp;nbsp; > &gt;&nbsp; > https://ci.apache.org/projects/flink/flink-docs-release-1.10/zh/ops/memory/mem_setup.html#%E6%89%98%E7%AE%A1%E5%86%85%E5%AD%98 > &gt;&nbsp;&amp;gt > <https://ci.apache.org/projects/flink/flink-docs-release-1.10/zh/ops/memory/mem_setup.html#%E6%89%98%E7%AE%A1%E5%86%85%E5%AD%98&gt;&nbsp;&amp;gt> > &gt;&nbsp;< > https://ci.apache.org/projects/flink/flink-docs-release-1.10/zh/ops/memory/mem_setup.html#%E6%89%98%E7%AE%A1%E5%86%85%E5%AD%98&amp;gt&gt > ; > &gt;&nbsp;; > &gt;&nbsp;&amp;gt; > &gt; > > &gt;&nbsp;&amp;gt;&amp;nbsp;On&amp;amp;nbsp;Mon,&amp;amp;nbsp;Apr&amp;amp;nbsp;27,&amp;amp;nbsp;2020&amp;amp;nbsp;at&amp;amp;nbsp;10:31&amp;amp;nbsp;AM&amp;amp;nbsp;??????(Jiacheng&amp;amp;nbsp;Jiang)&amp;amp;nbsp;< > &gt;&nbsp;&amp;gt;&amp;nbsp;920334...@qq.com&amp;amp;gt; > &gt;&nbsp;&amp;gt;&amp;nbsp;wrote: > &gt;&nbsp;&amp;gt; > &gt;&nbsp;&amp;gt;&amp;nbsp;&amp;amp;gt;&amp;amp;nbsp;hi > &gt;&nbsp;&amp;gt;&amp;nbsp;&amp;amp;gt; > &gt;&nbsp;&amp;gt;&amp;nbsp;&amp;amp;gt; > &gt; > > &gt;&nbsp;&amp;gt;&amp;nbsp;&amp;amp;gt;&amp;amp;nbsp;&amp;amp;amp;nbsp;&amp;amp;nbsp;&amp;amp;amp;nbsp;??????????????????standalone > &gt;&nbsp;&amp;gt; > &gt; > > &gt;&nbsp;&amp;gt;&amp;nbsp;&amp;amp;gt;&amp;amp;nbsp;flink????????????????job??tm??????????8g????????????flink1.10??????????taskmanager.memory.flink.size??10g??????????????????????????job??????????????????????job????????????????java.lang.OutOfMemoryError: > &gt; > > &gt;&nbsp;&amp;gt;&amp;nbsp;&amp;amp;gt;&amp;amp;nbsp;Direct&amp;amp;nbsp;buffer&amp;amp;nbsp;memory??????1??job??????????????Direct > &gt;&nbsp;&amp;gt; > &gt; > > &gt;&nbsp;&amp;gt;&amp;nbsp;&amp;amp;gt;&amp;amp;nbsp;Memory??????????????????????????flink1.10????????standalone&amp;amp;nbsp;cluster????slot???????????????????? > &gt;&nbsp;&amp;gt; > &gt; > > &gt;&nbsp;&amp;gt;&amp;nbsp;&amp;amp;gt;&amp;amp;nbsp;??????????slot????????????????????A&amp;amp;nbsp;TaskManager&amp;amp;nbsp;with&amp;amp;nbsp;three&amp;amp;nbsp;slots,&amp;amp;nbsp;for&amp;amp;nbsp;example,&amp;amp;nbsp;will > &gt;&nbsp;&amp;gt; > &gt; > > &gt;&nbsp;&amp;gt;&amp;nbsp;&amp;amp;gt;&amp;amp;nbsp;dedicate&amp;amp;nbsp;1/3&amp;amp;nbsp;of&amp;amp;nbsp;its&amp;amp;nbsp;managed&amp;amp;nbsp;memory&amp;amp;nbsp;to&amp;amp;nbsp;each&amp;amp;nbsp;slot.&amp;amp;amp;nbsp;??????its&amp;amp;nbsp;managed > &gt; > > &gt;&nbsp;&amp;gt;&amp;nbsp;&amp;amp;gt;&amp;amp;nbsp;memory??????taskmanager.memory.managed.size?????????????????? > &gt;&nbsp;&amp;gt;&amp;nbsp;&amp;amp;gt; > &gt;&nbsp;&amp;gt;&amp;nbsp;&amp;amp;gt; > > &gt;&nbsp;&amp;gt;&amp;nbsp;&amp;amp;gt;&amp;amp;nbsp;best&amp;amp;amp;nbsp; > &gt;&nbsp;&amp;gt;&amp;nbsp;&amp;amp;gt;&amp;amp;nbsp;Jungle
