Re: Re:Re: Re: Flink 1.11.1 on k8s 如何配置hadoop

2021-05-23 文章 mts_geek
你好,我也遇到了这个问题,请问下你具体是如何打镜像的呢? 我是Dockerfile里添加 COPY --chown=flink:flink jars/flink-shaded-hadoop-2-2.8.3-10.0.jar $FLINK_HOME/lib/ 但是运行flink 1.11 on k8s的session cluster, jobserver能启动,但是提交job后报错。说不能初始化HadoopUtils, 但是flink-shaded-hadoop-2-2.8.3-10.0.jar里的确是有HadoopUtils这个class的。 Caused by: java.lang.

Re: Re:Re: Re: Flink 1.11.1 on k8s 如何配置hadoop

2020-10-11 文章 Dream-底限
hi、可以去hadoop的一个节点直接打镜像哈,打镜像的时候把需要的hadoop依赖包、flink一起打包到docker里面,然后配置一下环境变量就可以用了;如果你的docker部署节点有hadoop或flink也可以直接外挂;目前我们使用的是第一种 Yang Wang 于2020年10月12日周一 上午10:23写道: > 只需要base社区的镜像,然后再加上一层(拷贝flink-shaded-hadoop),commit到docker > image,然后push到docker registry就可以了 > > 例如Dockerfile可以如下 > FROM flink:1.11.

Re: Re:Re: Re: Flink 1.11.1 on k8s 如何配置hadoop

2020-10-11 文章 Yang Wang
只需要base社区的镜像,然后再加上一层(拷贝flink-shaded-hadoop),commit到docker image,然后push到docker registry就可以了 例如Dockerfile可以如下 FROM flink:1.11.1-scala_2.11 COPY flink-shaded-hadoop-2*.jar /opt/flink/lib/ 另外,flink-shaded-hadoop可以从这里下载[1] [1]. https://mvnrepository.com/artifact/org.apache.flink/flink-shaded-hadoop-2

Re: Re:Re: Re: Flink 1.11.1 on k8s 如何配置hadoop

2020-10-10 文章 yang
麻烦问一下,您是怎么从新打镜像的,是把原来的jar解压出来,然后在打包么? -- Sent from: http://apache-flink.147419.n8.nabble.com/

Re: Re:Re: Re: Flink 1.11.1 on k8s 如何配置hadoop

2020-10-10 文章 yang
麻烦问一下,从新打镜像,是把原来的包解压然后从新打包么 -- Sent from: http://apache-flink.147419.n8.nabble.com/

Re:Re: Re: Flink 1.11.1 on k8s 如何配置hadoop

2020-08-10 文章 RS
Hi 恩, 重新试了下, 这种是可以的, 前面是我操作错了, 谢谢~ Thx 在 2020-08-10 13:36:36,"Yang Wang" 写道: >你是自己打了一个新的镜像,把flink-shaded-hadoop-2-uber-2.8.3-10.0.jar放到lib下面了吗 >如果是的话不应该有这样的问题 > >Best, >Yang > >RS 于2020年8月10日周一 下午12:04写道: > >> Hi, >> 我下载了flink-shaded-hadoop-2-uber-2.8.3-10.0.jar, 然后放到了lib下, 重启了集群, >> 但是启动任务还是会报

Re: Re: Flink 1.11.1 on k8s 如何配置hadoop

2020-08-09 文章 Yang Wang
你是自己打了一个新的镜像,把flink-shaded-hadoop-2-uber-2.8.3-10.0.jar放到lib下面了吗 如果是的话不应该有这样的问题 Best, Yang RS 于2020年8月10日周一 下午12:04写道: > Hi, > 我下载了flink-shaded-hadoop-2-uber-2.8.3-10.0.jar, 然后放到了lib下, 重启了集群, > 但是启动任务还是会报错: > Caused by: org.apache.flink.core.fs.UnsupportedFileSystemSchemeException: > Could not

Re: Flink 1.11.1 on k8s 如何配置hadoop

2020-08-09 文章 Yang Wang
Matt Wang是正确的 目前Flink发布的binary和镜像里面都没有flink-shaded-hadoop,所以需要你在官方镜像的基础再加一层 把flink-shaded-hadoop[1]打到/opt/flink/lib目录下 FROM flinkCOPY /path/of/flink-shaded-hadoop-2-uber-*.jar $FLINK_HOME/lib/ [1]. https://mvnrepository.com/artifact/org.apache.flink/flink-shaded-hadoop-2-uber Best, Yang Matt

Re: Flink 1.11.1 on k8s 如何配置hadoop

2020-08-06 文章 caozhen
顺手贴一下flink1.11.1的hadoop集成wiki: https://ci.apache.org/projects/flink/flink-docs-release-1.11/ops/deployment/hadoop.html 根据官网说不再提供flink-shaded-hadoop-2-uber。并给出以下两种解决方式 1、建议使用HADOOP_CLASSPATH加载hadoop依赖 2、或者将hadoop依赖放到flink客户端lib目录下 *我在用1.11.1 flink on yarn时,使用的是第二种方式,下载hadoop-src包,将一些常用依赖拷贝到lib目录下