谢答。查看我的pom.xml文件,和打包后的压缩包,确实包含kafka(org.apache.kafka.common)的相关依赖;所以我将相关的pom中的依赖都设置为provide,然后重新打包,并确认了我打好的jar包中不包含了任何kafka的依赖,发布运行,这次jobmanager直接报错:Caused
by: java.lang.ClassNotFoundException:
org.apache.flink.streaming.connectors.kafka.KafkaSerializationSchema
---------------------------------------
我怀疑是否是我的集群部署有问题,我是这样做的:
安装了3节点的hadoop(和yarn)集群【master(NameNode、SecondaryNameNode、ResourceManager),slave01(DataNode、NodeManager),slave02(DataNode、NodeManager)】,在master节点上解压缩了flink-1.12.1.tar.gz包,并且在他的lib目录下放置了hadoop的依赖jar包:flink-shaded-hadoop-2-uber-2.8.3-8.0.jar,然后直接上传我的jar包到该节点的/opt下,在flink目录下采用了如下命令发布到yarn集群以applicationMode运行:bin/flink
run-application -t yarn-application
/opt/quickstart-0.1.jar;发现在slave02上分配了jobmanager的container,里面的jobmanager.log报如上错误。
------------------
我之前从spark转过来的,spark on yarn 并不需要在每个节点部署,不是flink on yarn
是否也是这样的,如果不多,请教下应该是怎样的?



--
Sent from: http://apache-flink.147419.n8.nabble.com/

Reply via email to