Re: 任务内存增长
这个邮件列表看不到图片附件的，文本内容可以直接贴出来，图片的话需要放外部链接 Thank you~ Xintong Song On Tue, Aug 27, 2019 at 5:17 PM 张坤 wrote: > > 感谢您的回复，checkpoint使用的rocksDB，现在查看GC日志得到以下信息，堆内存使用正常，线程数使用在500左右，线程回收，但是线程占用的内存好像并没有回收掉。 > > 在 2019/8/27 下午5:02，“Xintong Song” 写入: > > 你用的是heap state backend吗？可以看下checkpoint > > size是否持续在增大，如果是的话很可能就是state增大导致的。作业运行后，随着处理的数据越来越多，state的key数量也会越来越多，大小随之增大。解决方案要么是改用RocksDB，要么是把tm内存配大为state增大留出富裕。 > > 另外，如果checkpoint size持续增长没有趋于平缓的趋势，那么也可能state的使用有问题。 > > 如果观察到不是state的问题，那么可能需要dump下tm的内存，看看是否哪里有内存泄露的情况。 > > Thank you~ > > Xintong Song > > > > On Mon, Aug 26, 2019 at 10:46 AM 张坤 wrote: > > > Hi： > > > >最近在使用Flink(1.7.2)提交任务到yarn（per > > > job）,任务在yarn上运行几个小时就会被kill掉，观察到任务的内存一直在增长，任务提交时有内存参数设置，任务逻辑为kafka数据简单处理后，注册成table，使用窗口聚合， > > > > 大家有没有遇到类似的问题，原因是什么？怎么解决或者优化？谢谢！ > > > > > > > > > >
Re: 任务内存增长
感谢您的回复，checkpoint使用的rocksDB，现在查看GC日志得到以下信息，堆内存使用正常，线程数使用在500左右，线程回收，但是线程占用的内存好像并没有回收掉。 在 2019/8/27 下午5:02，“Xintong Song” 写入: 你用的是heap state backend吗？可以看下checkpoint size是否持续在增大，如果是的话很可能就是state增大导致的。作业运行后，随着处理的数据越来越多，state的key数量也会越来越多，大小随之增大。解决方案要么是改用RocksDB，要么是把tm内存配大为state增大留出富裕。 另外，如果checkpoint size持续增长没有趋于平缓的趋势，那么也可能state的使用有问题。 如果观察到不是state的问题，那么可能需要dump下tm的内存，看看是否哪里有内存泄露的情况。 Thank you~ Xintong Song On Mon, Aug 26, 2019 at 10:46 AM 张坤 wrote: > Hi： > >最近在使用Flink(1.7.2)提交任务到yarn（per > job）,任务在yarn上运行几个小时就会被kill掉，观察到任务的内存一直在增长，任务提交时有内存参数设置，任务逻辑为kafka数据简单处理后，注册成table，使用窗口聚合， > > 大家有没有遇到类似的问题，原因是什么？怎么解决或者优化？谢谢！ > >
Re: 任务内存增长
你用的是heap state backend吗？可以看下checkpoint size是否持续在增大，如果是的话很可能就是state增大导致的。作业运行后，随着处理的数据越来越多，state的key数量也会越来越多，大小随之增大。解决方案要么是改用RocksDB，要么是把tm内存配大为state增大留出富裕。 另外，如果checkpoint size持续增长没有趋于平缓的趋势，那么也可能state的使用有问题。 如果观察到不是state的问题，那么可能需要dump下tm的内存，看看是否哪里有内存泄露的情况。 Thank you~ Xintong Song On Mon, Aug 26, 2019 at 10:46 AM 张坤 wrote: > Hi： > >最近在使用Flink(1.7.2)提交任务到yarn（per > job）,任务在yarn上运行几个小时就会被kill掉，观察到任务的内存一直在增长，任务提交时有内存参数设置，任务逻辑为kafka数据简单处理后，注册成table，使用窗口聚合， > > 大家有没有遇到类似的问题，原因是什么？怎么解决或者优化？谢谢！ > >
Re: 任务内存增长
hi 张坤 使用的是RocksDBStateBackend么，一般被YARN的node manager内存超用而kill是native 内存超用导致的。可以在Flink 参数env.java.opts.taskmanager里面加上 -XX:NativeMemoryTracking=detail [1]，这样可以观察内存是否增长。另外你使用的内存配置和被kill时候的YARN的日志分别是什么呢，可以考虑增大JVM heap 申请的资源来变相加大向YARN申请的总内存，某种程度上可以缓解被kill的概率。 [1] https://docs.oracle.com/javase/8/docs/technotes/guides/troubleshoot/tooldescr007.html 祝好 唐云 From: 张坤 Sent: Monday, August 26, 2019 10:45 To: user-zh@flink.apache.org Subject: 任务内存增长 Hi： 最近在使用Flink(1.7.2)提交任务到yarn（per job）,任务在yarn上运行几个小时就会被kill掉，观察到任务的内存一直在增长，任务提交时有内存参数设置，任务逻辑为kafka数据简单处理后，注册成table，使用窗口聚合， 大家有没有遇到类似的问题，原因是什么？怎么解决或者优化？谢谢！
任务内存增长
Hi： 最近在使用Flink(1.7.2)提交任务到yarn（per job）,任务在yarn上运行几个小时就会被kill掉，观察到任务的内存一直在增长，任务提交时有内存参数设置，任务逻辑为kafka数据简单处理后，注册成table，使用窗口聚合， 大家有没有遇到类似的问题，原因是什么？怎么解决或者优化？谢谢！
