Re: Re: 使用join+聚合时,checkpoint异常
Hi, 从描述来看, 因为使用了 cdc source (猜测是先 全量 后增量同步), 全量阶段完成时对应的 task 会到达 finished 状态, 在 1.14 版本中, 对应的配置项 ` execution.checkpointing.checkpoints-after-tasks-finish.enabled` 默认值是关闭的 (1.15+ 版本默认会开启), 可以开启或升级到 1.15 版本后再观察下 > because Some tasks of the job have already finished and checkpointing with finished tasks is not enabled Best, Lincoln Lee amber_...@qq.com.INVALID 于2022年6月21日周二 10:27写道: > 感谢! > 未发生背压,但我在日志中发现了一些异常信息,如下: > Failed to trigger checkpoint for job 297c5a840f8fd3a1cbcb63825200e8d4 > because Some tasks of the job have already finished and checkpointing with > finished tasks is not enabled. Failure reason: Not all required tasks are > currently running. > > 通过web ui可以看到,确实有一部分任务是finished状态。 > > 是否因为我关联多张维表的时候,同时使用了lookup join和普通join呢? > -- > amber_...@qq.com > > > *发件人:* Shengkai Fang > *发送时间:* 2022-06-21 09:53 > *收件人:* user-zh > *主题:* Re: 使用join+聚合时,checkpoint异常 > hi. > > 这种情况下,最好查看一下是否发生了反压,同时看看日志之中是否有相关的异常信息。 > > Best, > Shengkai > > amber_...@qq.com.INVALID 于2022年6月21日周二 09:43写道: > > > 您好! > > 我使用flink1.14.4,sqlserver-cdc-2.2.1,yarn-per-job模式提交任务; > > 当我提交普通数据同步任务时,一切正常; > > 当我提交JOIN+聚合任务时,checkpoint无法正常工作,具体表现为无任何checkpoint记录,且Task Managed > > Memory使用率始终是100%; > > 以下是我的checkpoint配置: > > > > > > 我尝试增加Task Managed内存,但使用率总是100%; > > 当我关闭增量检查点时,无任何变化; > > 当我将State Backend切换为hashmap时,Managed Memory使用率回归正常,但checkpoint仍然无法工作; > > > > 期待你的回复。 > > 祝好! > > -- > > amber_...@qq.com > > > >
Re: Re: 使用join+聚合时,checkpoint异常
感谢! 未发生背压,但我在日志中发现了一些异常信息,如下: Failed to trigger checkpoint for job 297c5a840f8fd3a1cbcb63825200e8d4 because Some tasks of the job have already finished and checkpointing with finished tasks is not enabled. Failure reason: Not all required tasks are currently running. 通过web ui可以看到,确实有一部分任务是finished状态。 是否因为我关联多张维表的时候,同时使用了lookup join和普通join呢? amber_...@qq.com 发件人: Shengkai Fang 发送时间: 2022-06-21 09:53 收件人: user-zh 主题: Re: 使用join+聚合时,checkpoint异常 hi. 这种情况下,最好查看一下是否发生了反压,同时看看日志之中是否有相关的异常信息。 Best, Shengkai amber_...@qq.com.INVALID 于2022年6月21日周二 09:43写道: > 您好! > 我使用flink1.14.4,sqlserver-cdc-2.2.1,yarn-per-job模式提交任务; > 当我提交普通数据同步任务时,一切正常; > 当我提交JOIN+聚合任务时,checkpoint无法正常工作,具体表现为无任何checkpoint记录,且Task Managed > Memory使用率始终是100%; > 以下是我的checkpoint配置: > > > 我尝试增加Task Managed内存,但使用率总是100%; > 当我关闭增量检查点时,无任何变化; > 当我将State Backend切换为hashmap时,Managed Memory使用率回归正常,但checkpoint仍然无法工作; > > 期待你的回复。 > 祝好! > -- > amber_...@qq.com >
Re:使用join+聚合时,checkpoint异常
你好,图片挂了,可以尝试使用图床工具上传图片。 在 2022-06-21 09:42:54,"amber_...@qq.com.INVALID" 写道: 您好! 我使用flink1.14.4,sqlserver-cdc-2.2.1,yarn-per-job模式提交任务; 当我提交普通数据同步任务时,一切正常; 当我提交JOIN+聚合任务时,checkpoint无法正常工作,具体表现为无任何checkpoint记录,且Task Managed Memory使用率始终是100%; 以下是我的checkpoint配置: 我尝试增加Task Managed内存,但使用率总是100%; 当我关闭增量检查点时,无任何变化; 当我将State Backend切换为hashmap时,Managed Memory使用率回归正常,但checkpoint仍然无法工作; 期待你的回复。 祝好! amber_...@qq.com
Re: 使用join+聚合时,checkpoint异常
hi. 这种情况下,最好查看一下是否发生了反压,同时看看日志之中是否有相关的异常信息。 Best, Shengkai amber_...@qq.com.INVALID 于2022年6月21日周二 09:43写道: > 您好! > 我使用flink1.14.4,sqlserver-cdc-2.2.1,yarn-per-job模式提交任务; > 当我提交普通数据同步任务时,一切正常; > 当我提交JOIN+聚合任务时,checkpoint无法正常工作,具体表现为无任何checkpoint记录,且Task Managed > Memory使用率始终是100%; > 以下是我的checkpoint配置: > > > 我尝试增加Task Managed内存,但使用率总是100%; > 当我关闭增量检查点时,无任何变化; > 当我将State Backend切换为hashmap时,Managed Memory使用率回归正常,但checkpoint仍然无法工作; > > 期待你的回复。 > 祝好! > -- > amber_...@qq.com >
使用join+聚合时,checkpoint异常
您好! 我使用flink1.14.4,sqlserver-cdc-2.2.1,yarn-per-job模式提交任务; 当我提交普通数据同步任务时,一切正常; 当我提交JOIN+聚合任务时,checkpoint无法正常工作,具体表现为无任何checkpoint记录,且Task Managed Memory使用率始终是100%; 以下是我的checkpoint配置: 我尝试增加Task Managed内存,但使用率总是100%; 当我关闭增量检查点时,无任何变化; 当我将State Backend切换为hashmap时,Managed Memory使用率回归正常,但checkpoint仍然无法工作; 期待你的回复。 祝好! amber_...@qq.com
Re: 如何写 flink udf 的 ut?
可以参考 HiveUDFTest 里面构造CallContext 的方式[1] [1] https://github.com/apache/flink/blob/master/flink-connectors/flink-connector-hive/src/test/java/org/apache/flink/table/functions/hive/HiveSimpleUDFTest.java#L222 Best regards, Yuxia - 原始邮件 - 发件人: "forideal" 收件人: "user-zh" 发送时间: 星期一, 2022年 6 月 20日 下午 8:16:52 主题: 如何写 flink udf 的 ut? 你好我的朋友: 太久没有写 flink 的代码了.今天写了一个 flink 的 udf.可能需要调用一下 open 函数.但是我不知道如何构造那个 context.有同学能帮忙吗? 非常感谢! Best wishes!!!
如何写 flink udf 的 ut?
你好我的朋友: 太久没有写 flink 的代码了.今天写了一个 flink 的 udf.可能需要调用一下 open 函数.但是我不知道如何构造那个 context.有同学能帮忙吗? 非常感谢! Best wishes!!!
Re: flink 1.10.1 flinkui 取消任务 任务一直处于cancalling中 很长时间才取消掉
Hi,方便的话,可以截一下一直处于 canceling 状态的 task 所在 TM 的栈,这样可以看出 task 线程卡在哪里了 Best, Lijie 沈保源 <757434...@qq.com.invalid> 于2022年6月17日周五 16:47写道: > JobManager 的日志并没有什么东西,Task也没有使用udf,只是最简单的cep > 模式组目前出现这种问题是在cep中,如果在这段时间内出现大量符合模式1 > 但是没有模式2的日志,当关闭时会出现这种情况,同时cep api 在这种情况下水位线延迟很高 是这个问题引起的吗? > task出现了一个日志是Discovered coordinator :9092 (id: 2147483647 rack: null) > for group merge_341 > > > > > --原始邮件-- > 发件人: "Weihua Hu" 发送时间: 2022年6月16日(星期四) 晚上9:10 > 收件人: "user-zh" 主题: Re: flink 1.10.1 flinkui 取消任务 任务一直处于cancalling中 很长时间才取消掉 > > > > Hi, > 建议看一下 JobManager 的日志,检查下再 Canceling 时作业是在什么状态。也检查下 Task 是否使用 UDF ,在 UDF > close 时是否有耗时的操作。 > > Best, > Weihua > > > On Thu, Jun 16, 2022 at 3:11 PM 沈保源 <757434...@qq.com.invalid wrote: > > flink 1.10.1 flinkui 取消任务nbsp; 任务一直处于cancalling中 很长时间才取消掉