回复：Flink命令提交任务时是否支持配置文件与任务jar包分离
配置频繁更新问题不只是flume程序需要解决其他的应用也需要解决的，可以做成基础公共服务 比如： Apollo Apollo（阿波罗）是携程框架部门研发的分布式配置中心，能够集中化管理应用不同环境、不同集群的配置，配置修改后能够实时推送到应用端，并且具备规范的权限、流程治理等特性，适用于微服务配置管理场景。https://github.com/ctripcorp/apollo TianlangStudio Some of the biggest lies: I will start tomorrow/Others are better than me/I am not good enough/I don't have time/This is the way I am -- 发件人：jinxiaolong_al...@163.com 发送时间：2019年8月10日(星期六) 00:32 收件人：user-zh 主 题：Flink命令提交任务时是否支持配置文件与任务jar包分离 各位社区大佬： 请问使用Flink命令提交任务时是否支持配置文件与任务jar包分离。 比如我的任务自身有个配置文件job.yaml,目前该配置是打到jar包中随任务提交的，可是有时候只是要调整下配置代码没改动也要重新打包发到环境上，感觉这样不灵活， 所以我想问下能不能单独把配置文件(可能是多个文件)放到一个目录下，然后提交任务的时候指定配置文件或者是配置目录。 类似jobManager把这些配置分发到TaskManager的classPath下这样的逻辑，这样就不用改下配置也要重新打包发到环境上了。 倒是有个-yt参数，但是这个是用来将指定的jar包传到容器中，不适用我说的场景吧。 各位大佬请问有没有好的办法或思路，求指导。 我用的flink版本是1.7.2 jinxiaolong_al...@163.com
回复：Flink命令提交任务时是否支持配置文件与任务jar包分离
你好： 是不是可以直接使用配置中心 例如把配置信息写到zookeeper上 这样还能做到当配置信息更改后不应用也可以做相应改变 -- 发件人：jinxiaolong_al...@163.com 发送时间：2019年8月10日(星期六) 00:32 收件人：user-zh 主 题：Flink命令提交任务时是否支持配置文件与任务jar包分离 各位社区大佬： 请问使用Flink命令提交任务时是否支持配置文件与任务jar包分离。 比如我的任务自身有个配置文件job.yaml,目前该配置是打到jar包中随任务提交的，可是有时候只是要调整下配置代码没改动也要重新打包发到环境上，感觉这样不灵活， 所以我想问下能不能单独把配置文件(可能是多个文件)放到一个目录下，然后提交任务的时候指定配置文件或者是配置目录。 类似jobManager把这些配置分发到TaskManager的classPath下这样的逻辑，这样就不用改下配置也要重新打包发到环境上了。 倒是有个-yt参数，但是这个是用来将指定的jar包传到容器中，不适用我说的场景吧。 各位大佬请问有没有好的办法或思路，求指导。 我用的flink版本是1.7.2 jinxiaolong_al...@163.com
flink源码编译可以不编译scala代码吗
Hi,All: 我再尝试编译flink 1.7的源码时，遇到如下错误，本人对scala不是很了解，不知道是不是版本问题引起，另外可以去掉sacla模块编译吗： 本机scala版本：2.13.0 JDK 版本： 1.8.0_91 [ERROR] Failed to execute goal org.apache.maven.plugins:maven-compiler-plugin:3.1:compile (default-compile) on project flink-scala_2.11: Compilation failure: Compilation failure: [ERROR] /Users/gang.gou/work/git/github/flink/flink-scala/src/main/java/org/apache/flink/api/scala/typeutils/ScalaEitherSerializerSnapshot.java:[67,44] 不兼容的类型: 无法推断org.apache.flink.api.java.typeutils.runtime.EitherSerializer<>的类型参数 [ERROR] 原因: 不存在类型变量L,R,T,T的实例, 以使org.apache.flink.api.java.typeutils.runtime.EitherSerializer与org.apache.flink.api.common.typeutils.TypeSerializer>一致 [ERROR] /Users/gang.gou/work/git/github/flink/flink-scala/src/main/java/org/apache/flink/api/scala/typeutils/ScalaEitherSerializerSnapshot.java:[78,86] 不兼容的类型: org.apache.flink.api.common.typeutils.TypeSerializer>无法转换为org.apache.flink.api.java.typeutils.runtime.EitherSerializer [ERROR] -> [Help 1] [ERROR] [ERROR] To see the full stack trace of the errors, re-run Maven with the -e switch. [ERROR] Re-run Maven using the -X switch to enable full debug logging. [ERROR] [ERROR] For more information about the errors and possible solutions, please read the following articles: [ERROR] [Help 1] http://cwiki.apache.org/confluence/display/MAVEN/MojoFailureException [ERROR] [ERROR] After correcting the problems, you can resume the build with the command [ERROR] mvn -rf :flink-scala_2.11 Process finished with exit code 1 -- Best Wishes Galen.K
Re: flink1.10版本连接hive报错
hi 苏欣： 建议先检查一下最后打的 jar 包里面是否包含了 com.hadoop.compression.lzo.LzoCodec 和 com.hadoop.compression.lzo.LzoCodec 苏 欣 于2019年8月9日周五 下午5:41写道： > 使用flink版本为1.10-snapshot，连接hive版本为1.1.0-cdh5.4.7，大数据集群有kerberos认证。 > > 我是用1.2.1的方式连接hive的。hiveCatalog可以取到表结构，但在启动作业的时候报错，Standalone模式和yarn模式都报同样的错。 > 请问有人遇到过这种问题吗？ > > 报错信息如下： > > The program finished with the following exception: > > org.apache.flink.client.program.ProgramInvocationException: Could not > retrieve the execution result. (JobID: 3f3033f7076c332529f3ac8250713889) > at > org.apache.flink.client.program.rest.RestClusterClient.submitJob(RestClusterClient.java:243) > at > org.apache.flink.client.program.ClusterClient.run(ClusterClient.java:338) > at > org.apache.flink.client.program.ClusterClient.run(ClusterClient.java:326) > at > org.apache.flink.client.program.ContextEnvironment.execute(ContextEnvironment.java:62) > at > org.apache.flink.api.java.ExecutionEnvironment.execute(ExecutionEnvironment.java:820) > at org.apache.flink.api.java.DataSet.collect(DataSet.java:413) > at com.sean.HiveCatalogExample.main(HiveCatalogExample.java:49) > at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method) > at > sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:62) > at > sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43) > at java.lang.reflect.Method.invoke(Method.java:498) > at > org.apache.flink.client.program.PackagedProgram.callMainMethod(PackagedProgram.java:576) > at > org.apache.flink.client.program.PackagedProgram.invokeInteractiveModeForExecution(PackagedProgram.java:438) > at > org.apache.flink.client.program.ClusterClient.run(ClusterClient.java:274) > at > org.apache.flink.client.cli.CliFrontend.executeProgram(CliFrontend.java:746) > at > org.apache.flink.client.cli.CliFrontend.runProgram(CliFrontend.java:273) > at > org.apache.flink.client.cli.CliFrontend.run(CliFrontend.java:205) > at > org.apache.flink.client.cli.CliFrontend.parseParameters(CliFrontend.java:1010) > at > org.apache.flink.client.cli.CliFrontend.lambda$main$10(CliFrontend.java:1083) > at java.security.AccessController.doPrivileged(Native Method) > at javax.security.auth.Subject.doAs(Subject.java:422) > at > org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1692) > at > org.apache.flink.runtime.security.HadoopSecurityContext.runSecured(HadoopSecurityContext.java:41) > at > org.apache.flink.client.cli.CliFrontend.main(CliFrontend.java:1083) > Caused by: org.apache.flink.runtime.client.JobSubmissionException: Failed > to submit JobGraph. > at > org.apache.flink.client.program.rest.RestClusterClient.lambda$submitJob$8(RestClusterClient.java:370) > at > java.util.concurrent.CompletableFuture.uniExceptionally(CompletableFuture.java:870) > at > java.util.concurrent.CompletableFuture$UniExceptionally.tryFire(CompletableFuture.java:852) > at > java.util.concurrent.CompletableFuture.postComplete(CompletableFuture.java:474) > at > java.util.concurrent.CompletableFuture.completeExceptionally(CompletableFuture.java:1977) > at > org.apache.flink.runtime.concurrent.FutureUtils.lambda$retryOperationWithDelay$5(FutureUtils.java:211) > at > java.util.concurrent.CompletableFuture.uniWhenComplete(CompletableFuture.java:760) > at > java.util.concurrent.CompletableFuture$UniWhenComplete.tryFire(CompletableFuture.java:736) > at > java.util.concurrent.CompletableFuture.postComplete(CompletableFuture.java:474) > at > java.util.concurrent.CompletableFuture.postFire(CompletableFuture.java:561) > at > java.util.concurrent.CompletableFuture$UniCompose.tryFire(CompletableFuture.java:929) > at > java.util.concurrent.CompletableFuture$Completion.run(CompletableFuture.java:442) > at > java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1149) > at > java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:624) > at java.lang.Thread.run(Thread.java:748) > Caused by: org.apache.flink.runtime.rest.util.RestClientException: > [Internal server error., org.apache.flink.runtime.client.JobSubmissionException: Failed to submit > job. > at > org.apache.flink.runtime.dispatcher.Dispatcher.lambda$internalSubmitJob$2(Dispatcher.java:333) > at > java.util.concurrent.CompletableFuture.uniHandle(CompletableFuture.java:822) > at > java.util.concurrent.CompletableFuture$UniHandle.tryFire(CompletableFuture.java:797) > at > java.util.concurrent.CompletableFuture$Completion.run(CompletableFuture.java:442) > at akka.dispatch.TaskInvocation.run(AbstractDispatcher.scala:40) > at >
