Re: Re: Re: Re: flink 1.11 作业执行异常
Hi
从这个报错看上去是尝试通过 serviceLoader 加载一些 factory 的时候出错了（找不到），可以看看对应的 module 的
resources 文件下是否有对应的 resource 文件
Best,
Congxian
sunfulin 于2020年7月7日周二 下午6:29写道：
>
>
>
> hi,
> 我的pom文件本地执行时，scope的provided都是去掉的。
>
> org.apache.flink
>
> flink-table-planner-blink_${scala.binary.version}
>${flink.version}
>
>
>
> 确实比较诡异。org.apache.flink.core.execution.DefaultExecutorServiceLoader.getExecutorFactory(DefaultExecutorServiceLoader.java:84)
> 这个异常在啥情况下会触发到。
>
>
>
>
>
>
>
>
>
>
>
>
>
>
> 在 2020-07-07 18:10:58，"Jark Wu" 写道：
> >如果是在 IDEA 中运行的话，你看看 blink planner 这个依赖的 scope 是不是被 provided 掉了？ 去掉
> provided
> >再试试看？
> >
> >Best,
> >Jark
> >
> >On Tue, 7 Jul 2020 at 18:01, sunfulin wrote:
> >
> >> hi,
> >> @Jun Zhang 我一直使用的就是blink planner，这个jar包一直都有的。
> >>
> >> @Jark Wu 我是在本地idea中直接运行的，还没有打包到集群跑。跟这个有关系么？
> >>
> >>
> >>
> >>
> >>
> >>
> >>
> >>
> >>
> >>
> >>
> >>
> >>
> >>
> >>
> >>
> >>
> >>
> >> 在 2020-07-07 15:40:17，"Jark Wu" 写道：
> >> >Hi,
> >> >
> >> >你是作业打包后在集群执行的，还是在 IDEA 中运行的呢？
> >> >
> >> >Best,
> >> >Jark
> >> >
> >> >On Tue, 7 Jul 2020 at 15:31, Jun Zhang
> >> wrote:
> >> >
> >> >> hi.sunfulin
> >> >> 你有没有导入blink的planner呢，加入这个试试
> >> >>
> >> >>
> >> >> org.apache.flink
> >> >>
> >>
> flink-table-planner-blink_${scala.binary.version}
> >> >> ${flink.version}
> >> >>
> >> >>
> >> >>
> >> >> sunfulin 于2020年7月7日周二 下午3:21写道：
> >> >>
> >> >>>
> >> >>>
> >> >>>
> >> >>> hi, jark
> >> >>> 我的执行代码其实很简单，就是下面的执行逻辑。不知道是不是我缺了什么依赖配置。我debug看了下异常执行，是说Flink
> >> >>> configuration里的DeployOptions.TARGET
> >> >>> （execution.target）没有匹配到配置？之前貌似从没有关注过这个配置。
> >> >>>
> >> >>>
> >> >>> //构建StreamExecutionEnvironment
> >> >>> public static final StreamExecutionEnvironment env =
> >> >>> StreamExecutionEnvironment.getExecutionEnvironment();
> >> >>>
> >> >>> //构建EnvironmentSettings 并指定Blink Planner
> >> >>> private static final EnvironmentSettings bsSettings =
> >> >>>
> >>
> EnvironmentSettings.newInstance().useBlinkPlanner().inStreamingMode().build();
> >> >>>
> >> >>> //构建StreamTableEnvironment
> >> >>> public static final StreamTableEnvironment tEnv =
> >> >>> StreamTableEnvironment.create(env, bsSettings);
> >> >>>
> >> >>>
> >> >>>
> >> >>>
> >> >>>
> >> >>>tEnv.executeSql(“ddl sql”);
> >> >>>
> >> >>>
> >> >>>
> >> >>>
> >> >>> //source注册成表
> >> >>>
> >> >>> tEnv.createTemporaryView("test", ds, $("f0").as("id"),
> >> >>> $("f1").as("first"), $("p").proctime());
> >> >>>
> >> >>>
> >> >>>
> >> >>>
> >> >>> //join语句
> >> >>>
> >> >>> Table table = tEnv.sqlQuery("select b.* from test a left
> join
> >> >>> my_dim FOR SYSTEM_TIME AS OF a.p AS b on a.first = b.userId");
> >> >>>
> >> >>>
> >> >>>
> >> >>>
> >> >>> //输出
> >> >>>
> >> >>> tEnv.toAppendStream(table,
> Row.class).print("LookUpJoinJob");
> >> >>>
> >> >>>
> >> >>>
> >> >>>
> >> >>> env.execute("LookUpJoinJob");
> >> >>>
> >> >>>
> >> >>>
> >> >>>
> >> >>>
> >> >>>
> >> >>>
> >> >>>
> >> >>> 在 2020-07-06 14:59:17，"Jark Wu" 写道：
> >> >>> >能分享下复现的作业代码不？
> >> >>> >
> >> >>> >Best,
> >> >>> >Jark
> >> >>> >
> >> >>> >On Mon, 6 Jul 2020 at 11:00, sunfulin
> wrote:
> >> >>> >
> >> >>> >> Hi，
> >> >>> >> 我使用目前最新的Flink 1.11 rc4来测试我的作业。报了如下异常：
> >> >>> >> org.apache.flink.table.api.TableExecution: Failed to execute sql
> >> >>> >>
> >> >>> >>
> >> >>> >> caused by : java.lang.IlleagalStateException: No ExecutorFactory
> >> found
> >> >>> to
> >> >>> >> execute the application.
> >> >>> >> at
> >> >>> >>
> >> >>>
> >>
> org.apache.flink.core.execution.DefaultExecutorServiceLoader.getExecutorFactory(DefaultExecutorServiceLoader.java:84)
> >> >>> >>
> >> >>> >>
> >> >>> >> 想请教下这个异常是啥原因？我使用1.10.1跑同样的逻辑，是没有异常的。
> >> >>>
> >> >>
> >>
>
Re: Re: Re: Re: flink 1.11 作业执行异常
我在1.11.0中遇到了同样的问题， pom中加了下面的依赖就没解决了
dependency
groupIdorg.apache.flink/groupId
artifactIdflink-clients_${scala.binary.version}/artifactId
version${flink.version}/version
/dependency
原始邮件
发件人:Congxian qiuqcx978132...@gmail.com
收件人:user-zhuser...@flink.apache.org
抄送:Jark wuimj...@gmail.com; Jun zhangzhangjunemail...@gmail.com
发送时间:2020年7月7日(周二) 19:35
主题:Re: Re: Re: Re: flink 1.11 作业执行异常
Hi 从这个报错看上去是尝试通过 serviceLoader 加载一些 factory 的时候出错了（找不到），可以看看对应的 module 的
resources 文件下是否有对应的 resource 文件 Best, Congxian sunfulin sunfulin0...@163.com
于2020年7月7日周二 下午6:29写道： hi, 我的pom文件本地执行时，scope的provided都是去掉的。 dependency
groupIdorg.apache.flink/groupId
artifactIdflink-table-planner-blink_${scala.binary.version}/artifactId
version${flink.version}/version /dependency
确实比较诡异。org.apache.flink.core.execution.DefaultExecutorServiceLoader.getExecutorFactory(DefaultExecutorServiceLoader.java:84)
这个异常在啥情况下会触发到。在 2020-07-07 18:10:58，"Jark Wu"
imj...@gmail.com 写道： 如果是在 IDEA 中运行的话，你看看 blink planner 这个依赖的 scope 是不是被
provided 掉了？ 去掉 provided 再试试看？Best, JarkOn Tue, 7 Jul 2020 at 18:01,
sunfulin sunfulin0...@163.com wrote: hi, @Jun Zhang 我一直使用的就是blink
planner，这个jar包一直都有的。 @Jark Wu 我是在本地idea中直接运行的，还没有打包到集群跑。跟这个有关系么？
在 2020-07-07 15:40:17，"Jark Wu" imj...@gmail.com 写道：
Hi, 你是作业打包后在集群执行的，还是在 IDEA 中运行的呢？ Best, Jark On Tue, 7 Jul
2020 at 15:31, Jun Zhang zhangjunemail...@gmail.com wrote: hi.sunfulin
你有没有导入blink的planner呢，加入这个试试 dependency
groupIdorg.apache.flink/groupId
artifactIdflink-table-planner-blink_${scala.binary.version}/artifactId
version${flink.version}/version/dependency sunfulin
sunfulin0...@163.com 于2020年7月7日周二 下午3:21写道：hi, jark
我的执行代码其实很简单，就是下面的执行逻辑。不知道是不是我缺了什么依赖配置。我debug看了下异常执行，是说Flink
configuration里的DeployOptions.TARGET
（execution.target）没有匹配到配置？之前貌似从没有关注过这个配置。
//构建StreamExecutionEnvironmentpublic static final
StreamExecutionEnvironment env =
StreamExecutionEnvironment.getExecutionEnvironment();
//构建EnvironmentSettings 并指定Blink Plannerprivate static final
EnvironmentSettings bsSettings =
EnvironmentSettings.newInstance().useBlinkPlanner().inStreamingMode().build();
//构建StreamTableEnvironmentpublic static final StreamTableEnvironment
tEnv =StreamTableEnvironment.create(env, bsSettings);
tEnv.executeSql(“ddl sql”);//source注册成表
tEnv.createTemporaryView("test", ds, $("f0").as("id"),$("f1").as("first"),
$("p").proctime());//join语句 Table table =
tEnv.sqlQuery("select b.* from test a left joinmy_dim FOR SYSTEM_TIME AS
OF a.p AS b on a.first = b.userId");//输出
tEnv.toAppendStream(table, Row.class).print("LookUpJoinJob");
env.execute("LookUpJoinJob");在 2020-07-06
14:59:17，"Jark Wu" imj...@gmail.com 写道：能分享下复现的作业代码不？Best,Jark
On Mon, 6 Jul 2020 at 11:00, sunfulin sunfulin0...@163.com wrote:
Hi， 我使用目前最新的Flink 1.11 rc4来测试我的作业。报了如下异常：
org.apache.flink.table.api.TableExecution: Failed to execute sql
caused by : java.lang.IlleagalStateException: No ExecutorFactory foundto
execute the application. at
org.apache.flink.core.execution.DefaultExecutorServiceLoader.getExecutorFactory(DefaultExecutorServiceLoader.java:84)
想请教下这个异常是啥原因？我使用1.10.1跑同样的逻辑，是没有异常的。
Re: Re: Re: Re: Re: flink 1.11 作业执行异常
估计是这个导致的：
https://ci.apache.org/projects/flink/flink-docs-master/release-notes/flink-1.11.html#reversed-dependency-from-flink-streaming-java-to-flink-client-flink-15090
On Wed, 8 Jul 2020 at 09:21, sunfulin wrote:
> hi, noake
> 感谢分享。我加了这个依赖后也OK了。周知下大家。
>
>
>
>
>
>
>
>
>
>
>
>
>
>
>
>
>
> 在 2020-07-07 22:15:05，"noake" 写道：
> >我在1.11.0中遇到了同样的问题， pom中加了下面的依赖就没解决了
> >dependency
> > groupIdorg.apache.flink/groupId
> > artifactIdflink-clients_${scala.binary.version}/artifactId
> > version${flink.version}/version
> >/dependency
> >
> >
> >原始邮件
> >发件人:Congxian qiuqcx978132...@gmail.com
> >收件人:user-zhuser...@flink.apache.org
> >抄送:Jark wuimj...@gmail.com; Jun zhangzhangjunemail...@gmail.com
> >发送时间:2020年7月7日(周二) 19:35
> >主题:Re: Re: Re: Re: flink 1.11 作业执行异常
> >
> >
> >Hi 从这个报错看上去是尝试通过 serviceLoader 加载一些 factory 的时候出错了（找不到），可以看看对应的 module 的
> resources 文件下是否有对应的 resource 文件 Best, Congxian sunfulin
> sunfulin0...@163.com 于2020年7月7日周二 下午6:29写道： hi,
> 我的pom文件本地执行时，scope的provided都是去掉的。 dependency
> groupIdorg.apache.flink/groupId
> artifactIdflink-table-planner-blink_${scala.binary.version}/artifactId
> version${flink.version}/version /dependency
> 确实比较诡异。org.apache.flink.core.execution.DefaultExecutorServiceLoader.getExecutorFactory(DefaultExecutorServiceLoader.java:84)
> 这个异常在啥情况下会触发到。在 2020-07-07 18:10:58，"Jark Wu"
> imj...@gmail.com 写道： 如果是在 IDEA 中运行的话，你看看 blink planner 这个依赖的 scope 是不是被
> provided 掉了？ 去掉 provided 再试试看？Best, JarkOn Tue, 7 Jul 2020 at
> 18:01, sunfulin sunfulin0...@163.com wrote: hi, @Jun Zhang
> 我一直使用的就是blink planner，这个jar包一直都有的。 @Jark Wu
> 我是在本地idea中直接运行的，还没有打包到集群跑。跟这个有关系么？ 在
> 2020-07-07 15:40:17，"Jark Wu" imj...@gmail.com 写道： Hi,
> 你是作业打包后在集群执行的，还是在 IDEA 中运行的呢？ Best, Jark On Tue, 7 Jul 2020 at
> 15:31, Jun Zhang zhangjunemail...@gmail.com wrote: hi.sunfulin
> 你有没有导入blink的planner呢，加入这个试试 dependency
> groupIdorg.apache.flink/groupId
> artifactIdflink-table-planner-blink_${scala.binary.version}/artifactId
> version${flink.version}/version/dependency sunfulin
> sunfulin0...@163.com 于2020年7月7日周二 下午3:21写道：hi, jark
> 我的执行代码其实很简单，就是下面的执行逻辑。不知道是不是我缺了什么依赖配置。我debug看了下异常执行，是说Flink
> configuration里的DeployOptions.TARGET
> （execution.target）没有匹配到配置？之前貌似从没有关注过这个配置。
> //构建StreamExecutionEnvironmentpublic static final
> StreamExecutionEnvironment env =
> StreamExecutionEnvironment.getExecutionEnvironment();
> //构建EnvironmentSettings 并指定Blink Plannerprivate static final
> EnvironmentSettings bsSettings =
>
> EnvironmentSettings.newInstance().useBlinkPlanner().inStreamingMode().build();
> //构建StreamTableEnvironmentpublic static final
> StreamTableEnvironment tEnv =StreamTableEnvironment.create(env,
> bsSettings); tEnv.executeSql(“ddl sql”);
> //source注册成表 tEnv.createTemporaryView("test", ds, $("f0").as("id"),
> $("f1").as("first"), $("p").proctime());//join语句
> Table table = tEnv.sqlQuery("select b.* from test a left joinmy_dim
> FOR SYSTEM_TIME AS OF a.p AS b on a.first = b.userId");
> //输出 tEnv.toAppendStream(table, Row.class).print("LookUpJoinJob");
> env.execute("LookUpJoinJob");在
> 2020-07-06 14:59:17，"Jark Wu" imj...@gmail.com 写道：能分享下复现的作业代码不？
> Best,JarkOn Mon, 6 Jul 2020 at 11:00, sunfulin
> sunfulin0...@163.com wrote: Hi， 我使用目前最新的Flink 1.11
> rc4来测试我的作业。报了如下异常： org.apache.flink.table.api.TableExecution: Failed to
> execute sql caused by : java.lang.IlleagalStateException: No
> ExecutorFactory foundto execute the application. at
>
> org.apache.flink.core.execution.DefaultExecutorServiceLoader.getExecutorFactory(DefaultExecutorServiceLoader.java:84)
>想请教下这个异常是啥原因？我使用1.10.1跑同样的逻辑，是没有异常的。
>
