Re: 稀疏主键导致内存过大

Tue, 24 Jun 2025 23:41:55 -0700 

可以调整下这个参数 scan.incremental.snapshot.chunk.size [1]试试.



[1]https://nightlies.apache.org/flink/flink-cdc-docs-master/docs/connectors/flink-sources/mysql-cdc/



> 2025 6月 25 13:46，406714...@qq.com <406714...@qq.com.INVALID> 写道：
> 
> 收到确认
> 
> 
> 
> ---原始邮件---
> 发件人: "Guo Baoxing 郭宝兴 (集团IT)"<guobaox...@haier.com&gt;
> 发送时间: 2025年5月16日(周五) 中午11:04
> 收件人: "user-zh@flink.apache.org"<user-zh@flink.apache.org&gt;;
> 主题: 稀疏主键导致内存过大
> 
> 
> 实时任务flink&nbsp;on&nbsp;yarn运行，实时同步MySQL表到StarRocks经常遇到的内存问题：十万级别的数据量使用jm&nbsp;1024mb，tm1024mb启动会报连接超时的问题，tm改成2048mb就会同步成功，但是源表十万级别数据量tm用2048mb内存非常浪费，看jobmanager日志，主要原因应该在chunk上，因为源表主键id的最大值为190562215，最小id为&nbsp;1，可能是因为chunk太大导致内存不够，这种应该怎么优化下呢？
> The&nbsp;information&nbsp;transmitted&nbsp;is&nbsp;intended&nbsp;solely&nbsp;for&nbsp;the&nbsp;use&nbsp;of&nbsp;the&nbsp;addressee&nbsp;and&nbsp;may&nbsp;contain&nbsp;confidential&nbsp;and/or&nbsp;privileged&nbsp;material.&nbsp;Any&nbsp;unauthorized&nbsp;disclosure,&nbsp;reproduction,&nbsp;distribution,&nbsp;dissemination,&nbsp;or&nbsp;taking&nbsp;of&nbsp;any&nbsp;action&nbsp;in&nbsp;reliance&nbsp;upon,&nbsp;this&nbsp;information&nbsp;by&nbsp;persons&nbsp;or&nbsp;entities&nbsp;other&nbsp;than&nbsp;the&nbsp;intended&nbsp;recipient&nbsp;is&nbsp;prohibited.&nbsp;If&nbsp;you&nbsp;received&nbsp;this&nbsp;in&nbsp;error,&nbsp;please&nbsp;contact&nbsp;the&nbsp;sender&nbsp;and&nbsp;delete&nbsp;the&nbsp;email&nbsp;together&nbsp;with&nbsp;any&nbsp;material&nbsp;attached&nbsp;(if&nbsp;any)&nbsp;completely&nbsp;from&nbsp;any&nbsp;device&nbsp;immediately.&nbsp;Unless&nbsp;otherwise&nbsp;stated,&nbsp;any&nbsp;views&nbsp;or&nbsp;opinions&nbsp;expressed&nbsp;in&nbsp;this&nbsp;email&nbsp;are&nbsp;solely&nbsp;those&nbsp;of&nbsp;the&nbsp;author&nbsp;and&nbsp;do&nbsp;not&nbsp;necessarily&nbsp;represent&nbsp;those&nbsp;of&nbsp;Haier&nbsp;Group.
> 本邮件可能包含敏感信息且仅限于发给指定的收件人，任何未经授权泄露、复制、散布或传播此信息的行为将被禁止。如果您错误收到了此邮件，请及时告知发送者并立即从所有设备中完全删除此邮件及附件。除非另有说明，否则邮件中可能包含的观点或建议仅代表发件者本人，并不代表海尔集团。

回复