回复: Re:flink1.18 on yarn提交任务生成多个application
你好，感谢回复，请问有官网文档么，我想详细了解下，谢谢！ 发件人: Xuyang 发送时间: 2024年7月2日 11:25 收件人: user-zh@flink.apache.org 主题: Re:flink1.18 on yarn提交任务生成多个application Hi, 如果是不想出现两个application的情况，可以试一下使用statement set将两个dml放在一起。否则的话，会被视为两个单独的操作，分成两个application。 sql： begin statement set; ... end; java & scala table api: tableEnv#createStatementSet -- Best！ Xuyang 在 2024-07-02 10:04:34，"Liu Join" 写道： >版本：flink1.18、hadoop3.0.0 >提交方式：per-job > >问题： >1. 使用flink sql编写的程序，数据源相同，输出定义了一个doris >sink，以及一个表转流的print，将jar包提交到yarn会生成两个application，一个输出为doris sink，另一个输出为流转表的print > >2. 使用flink sql编写的程序，数据源相同，输出定义了两个doris >sink，表a和表b，将jar包提交到yarn会生成两个application，一个输出为doris sink表a，另一个输出为doris sink表b > > >请问这是什么原因
Re:flink1.18 on yarn提交任务生成多个application
Hi, 如果是不想出现两个application的情况，可以试一下使用statement set将两个dml放在一起。否则的话，会被视为两个单独的操作，分成两个application。 sql： begin statement set; ... end; java & scala table api: tableEnv#createStatementSet -- Best！ Xuyang 在 2024-07-02 10:04:34，"Liu Join" 写道： >版本：flink1.18、hadoop3.0.0 >提交方式：per-job > >问题： >1. 使用flink sql编写的程序，数据源相同，输出定义了一个doris >sink，以及一个表转流的print，将jar包提交到yarn会生成两个application，一个输出为doris sink，另一个输出为流转表的print > >2. 使用flink sql编写的程序，数据源相同，输出定义了两个doris >sink，表a和表b，将jar包提交到yarn会生成两个application，一个输出为doris sink表a，另一个输出为doris sink表b > > >请问这是什么原因
Re: 这绝对算是bug
退订 On Mon, Jul 1, 2024 at 10:22 PM wjw_bigd...@163.com wrote: > 退订 > > > > 回复的原邮件 > | 发件人 | Cuixb | > | 日期 | 2024年07月01日 22:16 | > | 收件人 | user-zh@flink.apache.org | > | 抄送至 | | > | 主题 | Re: 这绝对算是bug | > GC不能说长，也绝对不短，大概计算了一下，24G内存，得有10秒左右无响应，多数在10秒内 > 发自我的 iPhone > > > 在 2024年7月1日，17:20，rui chen 写道： > > > > 建议检查一下JM的GC情况。 > > > > wjw_bigd...@163.com 于2024年7月1日周一 17:18写道： > > > >> 退订 > >> > >> > >> > >> 回复的原邮件 > >> | 发件人 | wjw_bigd...@163.com | > >> | 日期 | 2024年07月01日 17:13 | > >> | 收件人 | user-zh | > >> | 抄送至 | | > >> | 主题 | 回复：这绝对算是bug | > >> 退订 > >> > >> > >> > >> 回复的原邮件 > >> | 发件人 | 星海<2278179...@qq.com.INVALID> | > >> | 日期 | 2024年06月29日 21:31 | > >> | 收件人 | user-zh | > >> | 抄送至 | | > >> | 主题 | 回复： 这绝对算是bug | > >> 退订 > >> > >> > >> --原始邮件-- > >> 发件人: > >> "user-zh" > >>< > >> cfso3...@126.com;退订 > >> 发送时间:2024年6月29日(星期六) 晚上8:24 > >> 收件人:"user-zh" >> > >> 主题:Re: 这绝对算是bug > >> > >> > >> > >> 连接没问题，主要是tm一直在处理写入流，我也看了一下负载，其实不高，但就是不相应，导致报timeout，然后就是最开始那个错误！ > >> 发自我的 iPhone > >> > >> 在 2024年6月29日，16:49，Zhanghao Chen 写道： > >> > >> Hi，从报错看是 JM 丢主了，导致 TM 上 task 全部关停。看下 JM 侧是不是 HA 连接有问题呢？ > >> > >> Best, > >> Zhanghao Chen > >> > >> From: Cuixb >> Sent: Saturday, June 29, 2024 10:31 > >> To: user-zh@flink.apache.org >> Subject: 这绝对算是bug > >> > >> 生产环境Flink 1.16.2 > >> > >> 2024-06-29 09:17:23 > >> java.lang.Exception: Job leader for job id > >> 8ccdd299194a686e3ecda602c3c75bf3 lost leadership. > >> at > >> > org.apache.flink.runtime.taskexecutor.TaskExecutor$JobLeaderListenerImpl.lambda$null$2(TaskExecutor.java:2310) > >> at > >> java.util.Optional.ifPresent(Optional.java:159) > >> at > >> > org.apache.flink.runtime.taskexecutor.TaskExecutor$JobLeaderListenerImpl.lambda$jobManagerLostLeadership$3(TaskExecutor.java:2308) > >> at > >> > org.apache.flink.runtime.rpc.akka.AkkaRpcActor.lambda$handleRunAsync$4(AkkaRpcActor.java:453) > >> at > >> > org.apache.flink.runtime.concurrent.akka.ClassLoadingUtils.runWithContextClassLoader(ClassLoadingUtils.java:68) > >> at > >> > org.apache.flink.runtime.rpc.akka.AkkaRpcActor.handleRunAsync(AkkaRpcActor.java:453) > >> at > >> > org.apache.flink.runtime.rpc.akka.AkkaRpcActor.handleRpcMessage(AkkaRpcActor.java:218) > >> at > >> > org.apache.flink.runtime.rpc.akka.AkkaRpcActor.handleMessage(AkkaRpcActor.java:168) > >> at akka.japi.pf > >> .UnitCaseStatement.apply(CaseStatements.scala:24) > >> at akka.japi.pf > >> .UnitCaseStatement.apply(CaseStatements.scala:20) > >> at > >> scala.PartialFunction.applyOrElse(PartialFunction.scala:123) > >> at > >> scala.PartialFunction.applyOrElse$(PartialFunction.scala:122) > >> at akka.japi.pf > >> .UnitCaseStatement.applyOrElse(CaseStatements.scala:20) > >> at > >> scala.PartialFunction$OrElse.applyOrElse(PartialFunction.scala:171) > >> at > >> scala.PartialFunction$OrElse.applyOrElse(PartialFunction.scala:172) > >> at > >> scala.PartialFunction$OrElse.applyOrElse(PartialFunction.scala:172) > >> at > >> akka.actor.Actor.aroundReceive(Actor.scala:537) > >> at > >> akka.actor.Actor.aroundReceive$(Actor.scala:535) > >> at > >> akka.actor.AbstractActor.aroundReceive(AbstractActor.scala:220) > >> at > >> akka.actor.ActorCell.receiveMessage(ActorCell.scala:580) > >> at > >> akka.actor.ActorCell.invoke(ActorCell.scala:548) > >> at > >> akka.dispatch.Mailbox.processMailbox(Mailbox.scala:270) > >> at > >> akka.dispatch.Mailbox.run(Mailbox.scala:231) > >> at > >> akka.dispatch.Mailbox.exec(Mailbox.scala:243) > >> at > >> java.util.concurrent.ForkJoinTask.doExec(ForkJoinTask.java:289) > >> at > >> java.util.concurrent.ForkJoinPool$WorkQueue.runTask(For > >> > >> 发自我的 iPhone > >
flink1.18 on yarn提交任务生成多个application
版本：flink1.18、hadoop3.0.0 提交方式：per-job 问题： 1. 使用flink sql编写的程序，数据源相同，输出定义了一个doris sink，以及一个表转流的print，将jar包提交到yarn会生成两个application，一个输出为doris sink，另一个输出为流转表的print 2. 使用flink sql编写的程序，数据源相同，输出定义了两个doris sink，表a和表b，将jar包提交到yarn会生成两个application，一个输出为doris sink表a，另一个输出为doris sink表b 请问这是什么原因
??????????
| ?? | wjw_bigd...@163.com | | | 2024??07??01?? 17:17 | | ?? | user-zh | | ?? | | | | ?? | | ?? | wjw_bigd...@163.com | | | 2024??07??01?? 17:12 | | ?? | user-zh | | ?? | | | | ?? | | ?? | zhanggongx | | | 2024??07??01?? 16:52 | | ?? | user-zh | | ?? | | | | |
回复：这绝对算是bug
退订 回复的原邮件 | 发件人 | Cuixb | | 日期 | 2024年07月01日 22:16 | | 收件人 | user-zh@flink.apache.org | | 抄送至 | | | 主题 | Re: 这绝对算是bug | GC不能说长，也绝对不短，大概计算了一下，24G内存，得有10秒左右无响应，多数在10秒内 发自我的 iPhone > 在 2024年7月1日，17:20，rui chen 写道： > > 建议检查一下JM的GC情况。 > > wjw_bigd...@163.com 于2024年7月1日周一 17:18写道： > >> 退订 >> >> >> >> 回复的原邮件 >> | 发件人 | wjw_bigd...@163.com | >> | 日期 | 2024年07月01日 17:13 | >> | 收件人 | user-zh | >> | 抄送至 | | >> | 主题 | 回复：这绝对算是bug | >> 退订 >> >> >> >> 回复的原邮件 >> | 发件人 | 星海<2278179...@qq.com.INVALID> | >> | 日期 | 2024年06月29日 21:31 | >> | 收件人 | user-zh | >> | 抄送至 | | >> | 主题 | 回复： 这绝对算是bug | >> 退订 >> >> >> --原始邮件-- >> 发件人: >> "user-zh" >>< >> cfso3...@126.com;退订 >> 发送时间:2024年6月29日(星期六) 晚上8:24 >> 收件人:"user-zh"> >> 主题:Re: 这绝对算是bug >> >> >> >> 连接没问题，主要是tm一直在处理写入流，我也看了一下负载，其实不高，但就是不相应，导致报timeout，然后就是最开始那个错误！ >> 发自我的 iPhone >> >> 在 2024年6月29日，16:49，Zhanghao Chen > >> Hi，从报错看是 JM 丢主了，导致 TM 上 task 全部关停。看下 JM 侧是不是 HA 连接有问题呢？ >> >> Best, >> Zhanghao Chen >> >> From: Cuixb > Sent: Saturday, June 29, 2024 10:31 >> To: user-zh@flink.apache.org > Subject: 这绝对算是bug >> >> 生产环境Flink 1.16.2 >> >> 2024-06-29 09:17:23 >> java.lang.Exception: Job leader for job id >> 8ccdd299194a686e3ecda602c3c75bf3 lost leadership. >> at >> org.apache.flink.runtime.taskexecutor.TaskExecutor$JobLeaderListenerImpl.lambda$null$2(TaskExecutor.java:2310) >> at >> java.util.Optional.ifPresent(Optional.java:159) >> at >> org.apache.flink.runtime.taskexecutor.TaskExecutor$JobLeaderListenerImpl.lambda$jobManagerLostLeadership$3(TaskExecutor.java:2308) >> at >> org.apache.flink.runtime.rpc.akka.AkkaRpcActor.lambda$handleRunAsync$4(AkkaRpcActor.java:453) >> at >> org.apache.flink.runtime.concurrent.akka.ClassLoadingUtils.runWithContextClassLoader(ClassLoadingUtils.java:68) >> at >> org.apache.flink.runtime.rpc.akka.AkkaRpcActor.handleRunAsync(AkkaRpcActor.java:453) >> at >> org.apache.flink.runtime.rpc.akka.AkkaRpcActor.handleRpcMessage(AkkaRpcActor.java:218) >> at >> org.apache.flink.runtime.rpc.akka.AkkaRpcActor.handleMessage(AkkaRpcActor.java:168) >> at akka.japi.pf >> .UnitCaseStatement.apply(CaseStatements.scala:24) >> at akka.japi.pf >> .UnitCaseStatement.apply(CaseStatements.scala:20) >> at >> scala.PartialFunction.applyOrElse(PartialFunction.scala:123) >> at >> scala.PartialFunction.applyOrElse$(PartialFunction.scala:122) >> at akka.japi.pf >> .UnitCaseStatement.applyOrElse(CaseStatements.scala:20) >> at >> scala.PartialFunction$OrElse.applyOrElse(PartialFunction.scala:171) >> at >> scala.PartialFunction$OrElse.applyOrElse(PartialFunction.scala:172) >> at >> scala.PartialFunction$OrElse.applyOrElse(PartialFunction.scala:172) >> at >> akka.actor.Actor.aroundReceive(Actor.scala:537) >> at >> akka.actor.Actor.aroundReceive$(Actor.scala:535) >> at >> akka.actor.AbstractActor.aroundReceive(AbstractActor.scala:220) >> at >> akka.actor.ActorCell.receiveMessage(ActorCell.scala:580) >> at >> akka.actor.ActorCell.invoke(ActorCell.scala:548) >> at >> akka.dispatch.Mailbox.processMailbox(Mailbox.scala:270) >> at >> akka.dispatch.Mailbox.run(Mailbox.scala:231) >> at >> akka.dispatch.Mailbox.exec(Mailbox.scala:243) >> at >> java.util.concurrent.ForkJoinTask.doExec(ForkJoinTask.java:289) >> at >> java.util.concurrent.ForkJoinPool$WorkQueue.runTask(For >> >> 发自我的 iPhone >
Re: 这绝对算是bug
GC不能说长，也绝对不短，大概计算了一下，24G内存，得有10秒左右无响应，多数在10秒内 发自我的 iPhone > 在 2024年7月1日，17:20，rui chen 写道： > > 建议检查一下JM的GC情况。 > > wjw_bigd...@163.com 于2024年7月1日周一 17:18写道： > >> 退订 >> >> >> >> 回复的原邮件 >> | 发件人 | wjw_bigd...@163.com | >> | 日期 | 2024年07月01日 17:13 | >> | 收件人 | user-zh | >> | 抄送至 | | >> | 主题 | 回复：这绝对算是bug | >> 退订 >> >> >> >> 回复的原邮件 >> | 发件人 | 星海<2278179...@qq.com.INVALID> | >> | 日期 | 2024年06月29日 21:31 | >> | 收件人 | user-zh | >> | 抄送至 | | >> | 主题 | 回复： 这绝对算是bug | >> 退订 >> >> >> --原始邮件-- >> 发件人: >> "user-zh" >>< >> cfso3...@126.com;退订 >> 发送时间:2024年6月29日(星期六) 晚上8:24 >> 收件人:"user-zh"> >> 主题:Re: 这绝对算是bug >> >> >> >> 连接没问题，主要是tm一直在处理写入流，我也看了一下负载，其实不高，但就是不相应，导致报timeout，然后就是最开始那个错误！ >> 发自我的 iPhone >> >> 在 2024年6月29日，16:49，Zhanghao Chen > >> Hi，从报错看是 JM 丢主了，导致 TM 上 task 全部关停。看下 JM 侧是不是 HA 连接有问题呢？ >> >> Best, >> Zhanghao Chen >> >> From: Cuixb > Sent: Saturday, June 29, 2024 10:31 >> To: user-zh@flink.apache.org > Subject: 这绝对算是bug >> >> 生产环境Flink 1.16.2 >> >> 2024-06-29 09:17:23 >> java.lang.Exception: Job leader for job id >> 8ccdd299194a686e3ecda602c3c75bf3 lost leadership. >> at >> org.apache.flink.runtime.taskexecutor.TaskExecutor$JobLeaderListenerImpl.lambda$null$2(TaskExecutor.java:2310) >> at >> java.util.Optional.ifPresent(Optional.java:159) >> at >> org.apache.flink.runtime.taskexecutor.TaskExecutor$JobLeaderListenerImpl.lambda$jobManagerLostLeadership$3(TaskExecutor.java:2308) >> at >> org.apache.flink.runtime.rpc.akka.AkkaRpcActor.lambda$handleRunAsync$4(AkkaRpcActor.java:453) >> at >> org.apache.flink.runtime.concurrent.akka.ClassLoadingUtils.runWithContextClassLoader(ClassLoadingUtils.java:68) >> at >> org.apache.flink.runtime.rpc.akka.AkkaRpcActor.handleRunAsync(AkkaRpcActor.java:453) >> at >> org.apache.flink.runtime.rpc.akka.AkkaRpcActor.handleRpcMessage(AkkaRpcActor.java:218) >> at >> org.apache.flink.runtime.rpc.akka.AkkaRpcActor.handleMessage(AkkaRpcActor.java:168) >> at akka.japi.pf >> .UnitCaseStatement.apply(CaseStatements.scala:24) >> at akka.japi.pf >> .UnitCaseStatement.apply(CaseStatements.scala:20) >> at >> scala.PartialFunction.applyOrElse(PartialFunction.scala:123) >> at >> scala.PartialFunction.applyOrElse$(PartialFunction.scala:122) >> at akka.japi.pf >> .UnitCaseStatement.applyOrElse(CaseStatements.scala:20) >> at >> scala.PartialFunction$OrElse.applyOrElse(PartialFunction.scala:171) >> at >> scala.PartialFunction$OrElse.applyOrElse(PartialFunction.scala:172) >> at >> scala.PartialFunction$OrElse.applyOrElse(PartialFunction.scala:172) >> at >> akka.actor.Actor.aroundReceive(Actor.scala:537) >> at >> akka.actor.Actor.aroundReceive$(Actor.scala:535) >> at >> akka.actor.AbstractActor.aroundReceive(AbstractActor.scala:220) >> at >> akka.actor.ActorCell.receiveMessage(ActorCell.scala:580) >> at >> akka.actor.ActorCell.invoke(ActorCell.scala:548) >> at >> akka.dispatch.Mailbox.processMailbox(Mailbox.scala:270) >> at >> akka.dispatch.Mailbox.run(Mailbox.scala:231) >> at >> akka.dispatch.Mailbox.exec(Mailbox.scala:243) >> at >> java.util.concurrent.ForkJoinTask.doExec(ForkJoinTask.java:289) >> at >> java.util.concurrent.ForkJoinPool$WorkQueue.runTask(For >> >> 发自我的 iPhone >
Re: 这绝对算是bug
建议检查一下JM的GC情况。 wjw_bigd...@163.com 于2024年7月1日周一 17:18写道： > 退订 > > > > 回复的原邮件 > | 发件人 | wjw_bigd...@163.com | > | 日期 | 2024年07月01日 17:13 | > | 收件人 | user-zh | > | 抄送至 | | > | 主题 | 回复：这绝对算是bug | > 退订 > > > > 回复的原邮件 > | 发件人 | 星海<2278179...@qq.com.INVALID> | > | 日期 | 2024年06月29日 21:31 | > | 收件人 | user-zh | > | 抄送至 | | > | 主题 | 回复： 这绝对算是bug | > 退订 > > > --原始邮件-- > 发件人: > "user-zh" > < > cfso3...@126.com;退订 > 发送时间:2024年6月29日(星期六) 晚上8:24 > 收件人:"user-zh" > 主题:Re: 这绝对算是bug > > > > 连接没问题，主要是tm一直在处理写入流，我也看了一下负载，其实不高，但就是不相应，导致报timeout，然后就是最开始那个错误！ > 发自我的 iPhone > > 在 2024年6月29日，16:49，Zhanghao Chen > Hi，从报错看是 JM 丢主了，导致 TM 上 task 全部关停。看下 JM 侧是不是 HA 连接有问题呢？ > > Best, > Zhanghao Chen > > From: Cuixb Sent: Saturday, June 29, 2024 10:31 > To: user-zh@flink.apache.org Subject: 这绝对算是bug > > 生产环境Flink 1.16.2 > > 2024-06-29 09:17:23 > java.lang.Exception: Job leader for job id > 8ccdd299194a686e3ecda602c3c75bf3 lost leadership. > at > org.apache.flink.runtime.taskexecutor.TaskExecutor$JobLeaderListenerImpl.lambda$null$2(TaskExecutor.java:2310) > at > java.util.Optional.ifPresent(Optional.java:159) > at > org.apache.flink.runtime.taskexecutor.TaskExecutor$JobLeaderListenerImpl.lambda$jobManagerLostLeadership$3(TaskExecutor.java:2308) > at > org.apache.flink.runtime.rpc.akka.AkkaRpcActor.lambda$handleRunAsync$4(AkkaRpcActor.java:453) > at > org.apache.flink.runtime.concurrent.akka.ClassLoadingUtils.runWithContextClassLoader(ClassLoadingUtils.java:68) > at > org.apache.flink.runtime.rpc.akka.AkkaRpcActor.handleRunAsync(AkkaRpcActor.java:453) > at > org.apache.flink.runtime.rpc.akka.AkkaRpcActor.handleRpcMessage(AkkaRpcActor.java:218) > at > org.apache.flink.runtime.rpc.akka.AkkaRpcActor.handleMessage(AkkaRpcActor.java:168) > at akka.japi.pf > .UnitCaseStatement.apply(CaseStatements.scala:24) > at akka.japi.pf > .UnitCaseStatement.apply(CaseStatements.scala:20) > at > scala.PartialFunction.applyOrElse(PartialFunction.scala:123) > at > scala.PartialFunction.applyOrElse$(PartialFunction.scala:122) > at akka.japi.pf > .UnitCaseStatement.applyOrElse(CaseStatements.scala:20) > at > scala.PartialFunction$OrElse.applyOrElse(PartialFunction.scala:171) > at > scala.PartialFunction$OrElse.applyOrElse(PartialFunction.scala:172) > at > scala.PartialFunction$OrElse.applyOrElse(PartialFunction.scala:172) > at > akka.actor.Actor.aroundReceive(Actor.scala:537) > at > akka.actor.Actor.aroundReceive$(Actor.scala:535) > at > akka.actor.AbstractActor.aroundReceive(AbstractActor.scala:220) > at > akka.actor.ActorCell.receiveMessage(ActorCell.scala:580) > at > akka.actor.ActorCell.invoke(ActorCell.scala:548) > at > akka.dispatch.Mailbox.processMailbox(Mailbox.scala:270) > at > akka.dispatch.Mailbox.run(Mailbox.scala:231) > at > akka.dispatch.Mailbox.exec(Mailbox.scala:243) > at > java.util.concurrent.ForkJoinTask.doExec(ForkJoinTask.java:289) > at > java.util.concurrent.ForkJoinPool$WorkQueue.runTask(For > > 发自我的 iPhone
????????????????bug
| ?? | wjw_bigd...@163.com | | | 2024??07??01?? 17:13 | | ?? | user-zh | | ?? | | | | bug | | ?? | <2278179...@qq.com.INVALID> | | | 2024??06??29?? 21:31 | | ?? | user-zh | | ?? | | | | ?? ??bug | ---- ??: "user-zh"
??????????
| ?? | wjw_bigd...@163.com | | | 2024??07??01?? 17:12 | | ?? | user-zh | | ?? | | | | ?? | | ?? | zhanggongx | | | 2024??07??01?? 16:52 | | ?? | user-zh | | ?? | | | | |
????????????????bug
| ?? | <2278179...@qq.com.INVALID> | | | 2024??06??29?? 21:31 | | ?? | user-zh | | ?? | | | | ?? ??bug | ---- ??: "user-zh"
??????????
| ?? | zhanggongx | | | 2024??07??01?? 16:52 | | ?? | user-zh | | ?? | | | | |
