Re: Re: 采集mysql全量的时候出现oom问题

2024-04-09 文章 gongzhongqiang
可以尝试的解决办法: - 调大 JM 内存 (如 Shawn Huang 所说) - 调整快照期间批读的大小,以降低 state 大小从而减轻 checkpiont 过程中 JM 内存压力 Best, Zhongqiang Gong wyk 于2024年4月9日周二 16:56写道: > > 是的,分片比较大,有一万七千多个分片 > >

Re:Re: 采集mysql全量的时候出现oom问题

2024-04-09 文章 wyk
是的,分片比较大,有一万七千多个分片 jm内存目前是2g,我调整到4g之后还是会有这么问题,我在想如果我一直调整jm内存,后面增量的时候内存会有所浪费,在flink官网上找到了flink堆内存的相关参数,但是对这个不太了解,不知道具体该怎么调试合适,麻烦帮忙看一下如下图这些参数调整那个合适呢? flink官网地址为: https://nightlies.apache.org/flink/flink-docs-release-1.19/docs/deployment/memory/mem_setup_jobmanager/ | Component |

Re: 采集mysql全量的时候出现oom问题

2024-04-08 文章 Shawn Huang
从报错信息看,是由于JM的堆内存不够,可以尝试把JM内存调大,一种可能的原因是mysql表全量阶段分片较多,导致SourceEnumerator状态较大。 Best, Shawn Huang wyk 于2024年4月8日周一 17:46写道: > > > 开发者们好: > flink版本1.14.5 > flink-cdc版本 2.2.0 > > 在使用flink-cdc-mysql采集全量的时候,全量阶段会做checkpoint,但是checkpoint的时候会出现oom问题,这个有什么办法吗? >