Matt Wang是正确的

目前Flink发布的binary和镜像里面都没有flink-shaded-hadoop,所以需要你在官方镜像的基础再加一层
把flink-shaded-hadoop[1]打到/opt/flink/lib目录下

FROM flinkCOPY /path/of/flink-shaded-hadoop-2-uber-*.jar $FLINK_HOME/lib/


[1].
https://mvnrepository.com/artifact/org.apache.flink/flink-shaded-hadoop-2-uber


Best,
Yang

Matt Wang <wang...@163.com> 于2020年8月7日周五 下午5:22写道:

> 官网的镜像只包含 Flink 相关的内容,如果需要连接 HDFS,你需要将 Hadoop 相关包及配置打到镜像中
>
>
> --
>
> Best,
> Matt Wang
>
>
> 在2020年08月7日 12:49,caozhen<caozhen1...@163.com> 写道:
> 顺手贴一下flink1.11.1的hadoop集成wiki:
>
> https://ci.apache.org/projects/flink/flink-docs-release-1.11/ops/deployment/hadoop.html
>
> 根据官网说不再提供flink-shaded-hadoop-2-uber。并给出以下两种解决方式
>
> 1、建议使用HADOOP_CLASSPATH加载hadoop依赖
> 2、或者将hadoop依赖放到flink客户端lib目录下
>
> *我在用1.11.1 flink on
>
> yarn时,使用的是第二种方式,下载hadoop-src包,将一些常用依赖拷贝到lib目录下。(这可能会和你的mainjar程序发生类冲突问题,需要调试)
>
> 我觉得目前这种方式不好,只是暂时解决问题。还是应该有flink-shaded-hadoop包,正在尝试打包,有些问题还没完全解决。
> *
>
>
>
> --
> Sent from: http://apache-flink.147419.n8.nabble.com/

Reply via email to