你好,我也遇到了这个问题,请问下你具体是如何打镜像的呢?
我是Dockerfile里添加
COPY --chown=flink:flink jars/flink-shaded-hadoop-2-2.8.3-10.0.jar
$FLINK_HOME/lib/
但是运行flink 1.11 on k8s的session cluster,
jobserver能启动,但是提交job后报错。说不能初始化HadoopUtils,
但是flink-shaded-hadoop-2-2.8.3-10.0.jar里的确是有HadoopUtils这个class的。
Caused by: java.lang.
hi、可以去hadoop的一个节点直接打镜像哈,打镜像的时候把需要的hadoop依赖包、flink一起打包到docker里面,然后配置一下环境变量就可以用了;如果你的docker部署节点有hadoop或flink也可以直接外挂;目前我们使用的是第一种
Yang Wang 于2020年10月12日周一 上午10:23写道:
> 只需要base社区的镜像,然后再加上一层(拷贝flink-shaded-hadoop),commit到docker
> image,然后push到docker registry就可以了
>
> 例如Dockerfile可以如下
> FROM flink:1.11.
只需要base社区的镜像,然后再加上一层(拷贝flink-shaded-hadoop),commit到docker
image,然后push到docker registry就可以了
例如Dockerfile可以如下
FROM flink:1.11.1-scala_2.11
COPY flink-shaded-hadoop-2*.jar /opt/flink/lib/
另外,flink-shaded-hadoop可以从这里下载[1]
[1].
https://mvnrepository.com/artifact/org.apache.flink/flink-shaded-hadoop-2
麻烦问一下,您是怎么从新打镜像的,是把原来的jar解压出来,然后在打包么?
--
Sent from: http://apache-flink.147419.n8.nabble.com/
麻烦问一下,从新打镜像,是把原来的包解压然后从新打包么
--
Sent from: http://apache-flink.147419.n8.nabble.com/
Hi
恩, 重新试了下, 这种是可以的, 前面是我操作错了, 谢谢~
Thx
在 2020-08-10 13:36:36,"Yang Wang" 写道:
>你是自己打了一个新的镜像,把flink-shaded-hadoop-2-uber-2.8.3-10.0.jar放到lib下面了吗
>如果是的话不应该有这样的问题
>
>Best,
>Yang
>
>RS 于2020年8月10日周一 下午12:04写道:
>
>> Hi,
>> 我下载了flink-shaded-hadoop-2-uber-2.8.3-10.0.jar, 然后放到了lib下, 重启了集群,
>> 但是启动任务还是会报
你是自己打了一个新的镜像,把flink-shaded-hadoop-2-uber-2.8.3-10.0.jar放到lib下面了吗
如果是的话不应该有这样的问题
Best,
Yang
RS 于2020年8月10日周一 下午12:04写道:
> Hi,
> 我下载了flink-shaded-hadoop-2-uber-2.8.3-10.0.jar, 然后放到了lib下, 重启了集群,
> 但是启动任务还是会报错:
> Caused by: org.apache.flink.core.fs.UnsupportedFileSystemSchemeException:
> Could not
Matt Wang是正确的
目前Flink发布的binary和镜像里面都没有flink-shaded-hadoop,所以需要你在官方镜像的基础再加一层
把flink-shaded-hadoop[1]打到/opt/flink/lib目录下
FROM flinkCOPY /path/of/flink-shaded-hadoop-2-uber-*.jar $FLINK_HOME/lib/
[1].
https://mvnrepository.com/artifact/org.apache.flink/flink-shaded-hadoop-2-uber
Best,
Yang
Matt
顺手贴一下flink1.11.1的hadoop集成wiki:
https://ci.apache.org/projects/flink/flink-docs-release-1.11/ops/deployment/hadoop.html
根据官网说不再提供flink-shaded-hadoop-2-uber。并给出以下两种解决方式
1、建议使用HADOOP_CLASSPATH加载hadoop依赖
2、或者将hadoop依赖放到flink客户端lib目录下
*我在用1.11.1 flink on
yarn时,使用的是第二种方式,下载hadoop-src包,将一些常用依赖拷贝到lib目录下