kpoints-after-tasks-finish.enabled相关配置,完美解决了问题。
> 我使用了lookup join + 外部mysql维表,任务开始时,全量加载了一次维表数据,对应task状态就变成了finished。
>
> best wishes!
>
>
> amber_...@qq.com
>
> 发件人: Lincoln Lee
> 发送时间: 2022-06-21 11:18
> 收件人: user-zh
> 主题: Re: Re: 使用join+聚合时,checkpoint异常
> Hi,
非常感谢!你的建议很有用。
我在代码中添加execution.checkpointing.checkpoints-after-tasks-finish.enabled相关配置,完美解决了问题。
我使用了lookup join + 外部mysql维表,任务开始时,全量加载了一次维表数据,对应task状态就变成了finished。
best wishes!
amber_...@qq.com
发件人: Lincoln Lee
发送时间: 2022-06-21 11:18
收件人: user-zh
主题: Re: Re: 使用join+聚合时,checkpoint异常
* 2022-06-21 09:53
> *收件人:* user-zh
> *主题:* Re: 使用join+聚合时,checkpoint异常
> hi.
>
> 这种情况下,最好查看一下是否发生了反压,同时看看日志之中是否有相关的异常信息。
>
> Best,
> Shengkai
>
> amber_...@qq.com.INVALID 于2022年6月21日周二 09:43写道:
>
> > 您好!
> > 我使用flink1.14.4,sqlserver-cdc-2.2.1,
finished状态。
是否因为我关联多张维表的时候,同时使用了lookup join和普通join呢?
amber_...@qq.com
发件人: Shengkai Fang
发送时间: 2022-06-21 09:53
收件人: user-zh
主题: Re: 使用join+聚合时,checkpoint异常
hi.
这种情况下,最好查看一下是否发生了反压,同时看看日志之中是否有相关的异常信息。
Best,
Shengkai
amber_...@qq.com.INVALID 于2022年6月21日周二 09:43写道:
> 您好!
>
你好,图片挂了,可以尝试使用图床工具上传图片。
在 2022-06-21 09:42:54,"amber_...@qq.com.INVALID" 写道:
您好!
我使用flink1.14.4,sqlserver-cdc-2.2.1,yarn-per-job模式提交任务;
当我提交普通数据同步任务时,一切正常;
当我提交JOIN+聚合任务时,checkpoint无法正常工作,具体表现为无任何checkpoint记录,且Task Managed
Memory使用率始终是100%;
以下是我的checkpoint配置:
hi.
这种情况下,最好查看一下是否发生了反压,同时看看日志之中是否有相关的异常信息。
Best,
Shengkai
amber_...@qq.com.INVALID 于2022年6月21日周二 09:43写道:
> 您好!
> 我使用flink1.14.4,sqlserver-cdc-2.2.1,yarn-per-job模式提交任务;
> 当我提交普通数据同步任务时,一切正常;
> 当我提交JOIN+聚合任务时,checkpoint无法正常工作,具体表现为无任何checkpoint记录,且Task Managed
> Memory使用率始终是100%;
>