Re: Pyflink JVM Metaspace 内存泄漏定位

2021-01-22 Thread YueKun
关闭问题,已经解决,解决方法是不通过 pipeline.jars 的方式跟随python任务动态提交jar包,改为放在 FLINK_HOME/lib 下 -- Sent from: http://apache-flink.147419.n8.nabble.com/

Re: Pyflink JVM Metaspace 内存泄漏定位

2021-01-21 Thread YueKun
非常抱歉,之前的信息有误,我是用 MAT 工具解析后,exclude all phantom/weak/soft etc. references 后,最后的信息是: org.apache.flink.util.ChildFirstClassLoader @ 0xb0c14308 class com.mysql.cj.jdbc.Driver @ 0xb0f95a20 com.mysql.cj.jdbc.Driver @ 0xb10183c8 java.sql.DriverInfo @ 0xb10183b0 java.lang.Object[12] @ 0xb1499308

Re: Pyflink JVM Metaspace 内存泄漏定位

2021-01-21 Thread YueKun
hi,JDBC 的问题目前已经解决了,但是又出了个新的问题,是 Kafka 的,还是同样的这个任务,Pyflink的,从Mysql读数据然后写入Kafka,任务结束后,还是有内存不释放,目前从jmap看应该是如下导致的。 class com.sun.jmx.mbeanserver.StandardMBeanIntrospector @ 0xad5d01b0 com.sun.jmx.mbeanserver.MBeanIntrospector$MBeanInfoMap @ 0xad715a00 java.util.WeakHashMap$Entry[32] @ 0xafc583f0

Re: Pyflink 提交 Batch 任务后报错 “Failed to execute sql”

2021-01-20 Thread YueKun
结束这个问题,目前没有再出现,可能是以下两个原因的一个: 1. 更新了 Flink 版本,从 1.12.0 更新至 1.12.1 2. 扩大了Task Off-Heap 空间 -- Sent from: http://apache-flink.147419.n8.nabble.com/

Re: Pyflink JVM Metaspace 内存泄漏定位

2021-01-20 Thread YueKun
hi,不确定是否能看到图片,Jmap导出的数据分析看如下: -- Sent from: http://apache-flink.147419.n8.nabble.com/

Re: Pyflink JVM Metaspace 内存泄漏定位

2021-01-20 Thread YueKun
我是Python的table API实现的,connector是jdbc,jar包是用的flink网站上提供的链接里的(https://ci.apache.org/projects/flink/flink-docs-release-1.12/dev/table/connectors/jdbc.html),有 flink-connector-jdbc_2.11-1.12.0.jar 和 mysql-connector-java-5.1.49.jar。 任务是用SQL写的,基本和flink提供的demo的代码一致: " ) WITH ( 'connector' = 'jdbc',

Re: Pyflink JVM Metaspace 内存泄漏定位

2021-01-20 Thread YueKun
目前看泄漏是因为 mysql 的 JDBC 引起的,和 http://apache-flink.147419.n8.nabble.com/1-11-1-OutOfMemoryError-Metaspace-td8367.html#a8399 这个问题一样。这个有什么解决方法吗?需要更换 mysql-connector-java 版本吗? 我目前用的 5.1.49 版本 -- Sent from: http://apache-flink.147419.n8.nabble.com/

Re: 回复:1.11.1 报OutOfMemoryError: Metaspace. 错误

2021-01-20 Thread YueKun
你好,请问这个问题解决了吗?我目前也有遇到这个情况 -- Sent from: http://apache-flink.147419.n8.nabble.com/

Re: Pyflink JVM Metaspace 内存泄漏定位

2021-01-19 Thread YueKun
非常感谢回复! Flink 版本是使用的 1.12.0,通过 https://github.com/apache/flink-docker/tree/master/1.12/scala_2.12-java11-debian 编译的Docker 镜像,然后外层又安装的python3环境生成最终的镜像。(不知道为什么我发的邮件到平台上后会少一部分,我又单独在平台编辑了一下)。 之前邮件的剩余内容是: JVM Metaspace Max大小是默认的 256 MB,每次跑这个 Batch 的统计任务后用量就会增加十几M,这样最后就OOM了。 Flink 通过 Docker 运行的 1.12