可以尝试的解决办法:
- 调大 JM 内存 (如 Shawn Huang 所说)
- 调整快照期间批读的大小,以降低 state 大小从而减轻 checkpiont 过程中 JM 内存压力
Best,
Zhongqiang Gong
wyk 于2024年4月9日周二 16:56写道:
>
> 是的,分片比较大,有一万七千多个分片
>
>
是的,分片比较大,有一万七千多个分片
jm内存目前是2g,我调整到4g之后还是会有这么问题,我在想如果我一直调整jm内存,后面增量的时候内存会有所浪费,在flink官网上找到了flink堆内存的相关参数,但是对这个不太了解,不知道具体该怎么调试合适,麻烦帮忙看一下如下图这些参数调整那个合适呢?
flink官网地址为:
https://nightlies.apache.org/flink/flink-docs-release-1.19/docs/deployment/memory/mem_setup_jobmanager/
| Component |
从报错信息看,是由于JM的堆内存不够,可以尝试把JM内存调大,一种可能的原因是mysql表全量阶段分片较多,导致SourceEnumerator状态较大。
Best,
Shawn Huang
wyk 于2024年4月8日周一 17:46写道:
>
>
> 开发者们好:
> flink版本1.14.5
> flink-cdc版本 2.2.0
>
> 在使用flink-cdc-mysql采集全量的时候,全量阶段会做checkpoint,但是checkpoint的时候会出现oom问题,这个有什么办法吗?
>