??????flink-shaded-hadoop-2-uber????????????

[superainbower]

K8SHA??HDFS


??2020??12??22?? 13:43??liujian ??
Thanks,flink-confhistory 
server,??hdfs??,??web ui??,




--  --
??: 
   "user-zh"

https://ci.apache.org/projects/flink/flink-docs-master/deployment/advanced/historyserver.html
>
> Best,
> Yang
>
> liujian <13597820...@qq.com> ??2020??12??21?? 1:35??
>
> > 
??history-server,,,??,
> >
> >
> >
> >
> > 
--&nbsp;&nbsp;--
> > ??:
> 
>                                                  
> "user-zh"
> 
>                                                                    
> <
> > danrtsey...@gmail.com&gt;;
> > :&nbsp;2020??12??21??(??) 10:15
> > 
??:&nbsp;"user-zh"https://github.com/apache/flink-docker/blob/dev-master/docker-entrypoint.sh
> >
> 
;
> ;
> > Best,
> > Yang
> >
> >
> > liujian <13597820...@qq.com&gt; ??2020??12??20?? 
12:45??
> >
> > &gt; Thanks,&amp;nbsp;
> > &gt; &amp;nbsp; &amp;nbsp;
> &amp;nbsp;??historyServer,flink
> > &gt; 1.12.0??Dockerfile ??CMD 
["history-server"]&amp;nbsp;
> > ??8082,??
> > &gt;
> > &gt;
> > &gt;
> > &gt;
> > &gt;
> 
--&amp;nbsp;&amp;nbsp;--
> > &gt; ??:
> >
> 
&gt;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;
> > "user-zh"
> >
> 
&gt;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;
> > <
> > &gt; danrtsey...@gmail.com&amp;gt;;
> > &gt; :&amp;nbsp;2020??12??19??(??) 
9:35
> > &gt; 
??:&amp;nbsp;"user-zh"https://github.com/apache/flink-shaded
> > ;; &gt <
> https://github.com/apache/flink-shaded&gt>; &amp;gt;
> &amp;amp;gt;
> > [2].
> > &gt; &amp;gt; &amp;amp;gt;
> > &gt; &amp;gt; &amp;amp;gt;
> > &gt; &amp;gt;
> > &gt;
> >
> 
https://ci.apache.org/projects/flink/flink-docs-master/deployment/resource-providers/yarn.html#preparation
> >
> 
;;
> &gt
> > <
> 
https://ci.apache.org/projects/flink/flink-docs-master/deployment/resource-providers/yarn.html#preparation&gt>
> ;;
> > &amp;gt
> > &gt; <
> >
> 
https://ci.apache.org/projects/flink/flink-docs-master/deployment/resource-providers/yarn.html#preparation&amp;gt&gt
> >
> 
;;
> ;;
> > &

?????? flink-shaded-hadoop-2-uber????????????

[liujian]

Thanks,flink-confhistory 
server,??hdfs??,??web ui??,




--  --
??: 
   "user-zh"

https://ci.apache.org/projects/flink/flink-docs-master/deployment/advanced/historyserver.html
>
> Best,
> Yang
>
> liujian <13597820...@qq.com> ??2020??12??21?? 1:35??
>
> > 
??history-server,,,??,
> >
> >
> >
> >
> > 
--&nbsp;&nbsp;--
> > ??:
> 
>                                                  
> "user-zh"
> 
>                                                                    
> <
> > danrtsey...@gmail.com&gt;;
> > :&nbsp;2020??12??21??(??) 10:15
> > 
??:&nbsp;"user-zh"https://github.com/apache/flink-docker/blob/dev-master/docker-entrypoint.sh
> >
> 
;
> ;
> > Best,
> > Yang
> >
> >
> > liujian <13597820...@qq.com&gt; ??2020??12??20?? 
12:45??
> >
> > &gt; Thanks,&amp;nbsp;
> > &gt; &amp;nbsp; &amp;nbsp;
> &amp;nbsp;??historyServer,flink
> > &gt; 1.12.0??Dockerfile ??CMD 
["history-server"]&amp;nbsp;
> > ??8082,??
> > &gt;
> > &gt;
> > &gt;
> > &gt;
> > &gt;
> 
--&amp;nbsp;&amp;nbsp;--
> > &gt; ??:
> >
> 
&gt;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;
> > "user-zh"
> >
> 
&gt;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;
> > <
> > &gt; danrtsey...@gmail.com&amp;gt;;
> > &gt; :&amp;nbsp;2020??12??19??(??) 
9:35
> > &gt; 
??:&amp;nbsp;"user-zh"https://github.com/apache/flink-shaded
> > ;; &gt <
> https://github.com/apache/flink-shaded&gt>; &amp;gt;
> &amp;amp;gt;
> > [2].
> > &gt; &amp;gt; &amp;amp;gt;
> > &gt; &amp;gt; &amp;amp;gt;
> > &gt; &amp;gt;
> > &gt;
> >
> 
https://ci.apache.org/projects/flink/flink-docs-master/deployment/resource-providers/yarn.html#preparation
> >
> 
;;
> &gt
> > <
> 
https://ci.apache.org/projects/flink/flink-docs-master/deployment/resource-providers/yarn.html#preparation&gt>
> ;;
> > &amp;gt
> > &gt; <
> >
> 
https://ci.apache.org/projects/flink/flink-docs-master/deployment/resource-providers/yarn.html#preparation&amp;gt&gt
> >
> 
;;
> ;;
> > &gt; &amp;amp;gt
> > &gt; &amp;gt; <
> > &gt;
> >
> 
https://

Re: flink-shaded-hadoop-2-uber版本如何选择

[Yang Wang]

history-server和native
k8s没有关系的，如果你想使用，就需要用一个deployment单独部署history-server在K8s集群内

native k8s覆盖的场景是Flink任务如何原生地提交到K8s集群内

Best,
yang

liujian <13597820...@qq.com> 于2020年12月21日周一 下午8:16写道：

> Thanks, 使用你下面的docker方式我测试确实可以,但是不知道Native K8s如何来操作,可以详细说一下
>  我现在是Dockerfile如下两种情况都试过
>
>
> COPY ./jar/flink-shaded-hadoop-2-uber-2.8.3-10.0.jar 
> /opt/flink/lib/flink-shaded-hadoop-2-uber-2.8.3-10.0.jar
> ENTRYPOINT ["/docker-entrypoint.sh"]
> EXPOSE 6123 8081 8082
> CMD ["help","history-server"]
>
> ------------
> COPY ./jar/flink-shaded-hadoop-2-uber-2.8.3-10.0.jar 
> /opt/flink/lib/flink-shaded-hadoop-2-uber-2.8.3-10.0.jar
> ENTRYPOINT ["/docker-entrypoint.sh","history-server"]
> EXPOSE 6123 8081 8082
> CMD ["help"]
>
>
>
> 这两种都尝试过...,请帮忙指教一下
>
>
>
>
>
>
> -- 原始邮件 --
> 发件人:
>   "user-zh"
>         <
> danrtsey...@gmail.com>;
> 发送时间: 2020年12月21日(星期一) 下午3:08
> 收件人: "user-zh"
> 主题: Re: flink-shaded-hadoop-2-uber版本如何选择
>
>
>
> 是的，理解没有错，history-server会启动后listen一个端口
>
> 我这边尝试是没有问题的，你可以通过如下命令启动
> docker run -p 8082:8082 --env
> FLINK_PROPERTIES="historyserver.archive.fs.dir: file:///tmp/flink-jobs"
> flink:latest history-server
>
> 更多配置你参考如下文档
>
> https://ci.apache.org/projects/flink/flink-docs-master/deployment/advanced/historyserver.html
>
> Best,
> Yang
>
> liujian <13597820...@qq.com> 于2020年12月21日周一 下午1:35写道：
>
> > 我理解的是启动一个history-server,会有一个进程,然后会暴露指定的端口,但是我好像并没有看到这样的效果,是我的理解有错吗
> >
> >
> >
> >
> > ------&nbsp;原始邮件&nbsp;--
> > 发件人:
> >  
> "user-zh"
> >
> <
> > danrtsey...@gmail.com&gt;;
> > 发送时间:&nbsp;2020年12月21日(星期一) 上午10:15
> > 收件人:&nbsp;"user-zh" >
> > 主题:&nbsp;Re: flink-shaded-hadoop-2-uber版本如何选择
> >
> >
> >
> >
> >
> 你不需要修改CMD，entrypoint默认是docker-entrypoint.sh[1]，是支持history-server的，只要传一个history-server的参数就可以了
> >
> > [1].
> >
> https://github.com/apache/flink-docker/blob/dev-master/docker-entrypoint.sh
> >
> <https://github.com/apache/flink-docker/blob/dev-master/docker-entrypoint.sh>>
> ;
> > Best,
> > Yang
> >
> >
> > liujian <13597820...@qq.com&gt; 于2020年12月20日周日 下午12:45写道：
> >
> > &gt; Thanks,&amp;nbsp;
> > &gt; &amp;nbsp; &amp;nbsp;
> &amp;nbsp;但是我需要访问historyServer,那么应该需要如何操作我将flink
> > &gt; 1.12.0的Dockerfile 修改成CMD ["history-server"]&amp;nbsp;
> > 并暴露8082端口,但是好像达不到这个效果
> > &gt;
> > &gt;
> > &gt;
> > &gt;
> > &gt;
> --&amp;nbsp;原始邮件&amp;nbsp;--
> > &gt; 发件人:
> >
> &gt;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;
> > "user-zh"
> >
> &gt;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;
> > <
> > &gt; danrtsey...@gmail.com&amp;gt;;
> > &gt; 发送时间:&amp;nbsp;2020年12月19日(星期六) 晚上9:35
> > &gt; 收件人:&amp;nbsp;"user-zh" &amp;gt;;
> > &gt;
> > &gt; 主题:&amp;nbsp;Re: flink-shaded-hadoop-2-uber版本如何选择
> > &gt;
> > &gt;
> > &gt;
> > &gt; 你只需要在Flink Client端设置HADOOP_CONF_DIR的环境就可以了
> >

?????? flink-shaded-hadoop-2-uber????????????

[liujian]

Thanks, docker??,??Native 
K8s??,??
 Dockerfile??


COPY ./jar/flink-shaded-hadoop-2-uber-2.8.3-10.0.jar  
/opt/flink/lib/flink-shaded-hadoop-2-uber-2.8.3-10.0.jar
ENTRYPOINT ["/docker-entrypoint.sh"]
EXPOSE 6123 8081 8082
CMD ["help","history-server"]

--------
COPY ./jar/flink-shaded-hadoop-2-uber-2.8.3-10.0.jar  
/opt/flink/lib/flink-shaded-hadoop-2-uber-2.8.3-10.0.jar
ENTRYPOINT ["/docker-entrypoint.sh","history-server"]
EXPOSE 6123 8081 8082
CMD ["help"]



??...,??






--  --
??: 
   "user-zh"

https://ci.apache.org/projects/flink/flink-docs-master/deployment/advanced/historyserver.html

Best,
Yang

liujian <13597820...@qq.com> ??2020??12??21?? 1:35??

> 
??history-server,,,??,
>
>
>
>
> --&nbsp;&nbsp;--
> ??:
>  
 "user-zh"
>
 <
> danrtsey...@gmail.com&gt;;
> :&nbsp;2020??12??21??(??) 10:15
> ??:&nbsp;"user-zh"https://github.com/apache/flink-docker/blob/dev-master/docker-entrypoint.sh
>
> Best,
> Yang
>
>
> liujian <13597820...@qq.com&gt; ??2020??12??20?? 12:45??
>
> &gt; Thanks,&amp;nbsp;
> &gt; &amp;nbsp; &amp;nbsp; 
&amp;nbsp;??historyServer,flink
> &gt; 1.12.0??Dockerfile ??CMD ["history-server"]&amp;nbsp;
> ??8082,??
> &gt;
> &gt;
> &gt;
> &gt;
> &gt; 
--&amp;nbsp;&amp;nbsp;--
> &gt; ??:
> 
&gt;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;
> "user-zh"
> 
&gt;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;
> <
> &gt; danrtsey...@gmail.com&amp;gt;;
> &gt; :&amp;nbsp;2020??12??19??(??) 9:35
> &gt; 
??:&amp;nbsp;"user-zh"https://github.com/apache/flink-shaded
> &gt <https://github.com/apache/flink-shaded&gt>;; &amp;gt; 
&amp;amp;gt;
> [2].
> &gt; &amp;gt; &amp;amp;gt;
> &gt; &amp;gt; &amp;amp;gt;
> &gt; &amp;gt;
> &gt;
> 
https://ci.apache.org/projects/flink/flink-docs-master/deployment/resource-providers/yarn.html#preparation
> &gt
> 
<https://ci.apache.org/projects/flink/flink-docs-master/deployment/resource-providers/yarn.html#preparation&gt>;;
> &amp;gt
> &gt; <
> 
https://ci.apache.org/projects/flink/flink-docs-master/deployment/resource-providers/yarn.html#preparation&amp;gt&gt
> ;;
> &gt; &amp;amp;gt
> &gt; &amp;gt; <
> &gt;
> 
https://ci.apache.org/projects/flink/flink-docs-master/deployment/resource-providers/yarn.html#preparation&amp;amp;gt&amp;gt
> &gt
> 
<https://ci.apache.org/projects/flink/flink-docs-master/deployment/resource-providers/yarn.html#preparation&amp;amp;gt&amp;gt&gt>;;
> ;
> &gt; &amp;gt; ;
> &gt; &amp;gt; &amp;amp;gt; Best,
> &gt; &amp;gt; &amp;amp;gt; Yang
> &gt; &amp;gt; &amp;amp;gt;
> &gt; &amp;gt; &amp;amp;gt;  

Re: flink-shaded-hadoop-2-uber版本如何选择

[Yang Wang]

是的，理解没有错，history-server会启动后listen一个端口

我这边尝试是没有问题的，你可以通过如下命令启动
docker run -p 8082:8082 --env
FLINK_PROPERTIES="historyserver.archive.fs.dir: file:///tmp/flink-jobs"
flink:latest history-server

更多配置你参考如下文档
https://ci.apache.org/projects/flink/flink-docs-master/deployment/advanced/historyserver.html

Best,
Yang

liujian <13597820...@qq.com> 于2020年12月21日周一 下午1:35写道：

> 我理解的是启动一个history-server,会有一个进程,然后会暴露指定的端口,但是我好像并没有看到这样的效果,是我的理解有错吗
>
>
>
>
> -- 原始邮件 --
> 发件人:
>   "user-zh"
> <
> danrtsey...@gmail.com>;
> 发送时间: 2020年12月21日(星期一) 上午10:15
> 收件人: "user-zh"
> 主题: Re: flink-shaded-hadoop-2-uber版本如何选择
>
>
>
>
> 你不需要修改CMD，entrypoint默认是docker-entrypoint.sh[1]，是支持history-server的，只要传一个history-server的参数就可以了
>
> [1].
> https://github.com/apache/flink-docker/blob/dev-master/docker-entrypoint.sh
>
> Best,
> Yang
>
>
> liujian <13597820...@qq.com> 于2020年12月20日周日 下午12:45写道：
>
> > Thanks,&nbsp;
> > &nbsp; &nbsp; &nbsp;但是我需要访问historyServer,那么应该需要如何操作我将flink
> > 1.12.0的Dockerfile 修改成CMD ["history-server"]&nbsp;
> 并暴露8082端口,但是好像达不到这个效果
> >
> >
> >
> >
> > --&nbsp;原始邮件&nbsp;--
> > 发件人:
> >              
> "user-zh"
> >
> <
> > danrtsey...@gmail.com&gt;;
> > 发送时间:&nbsp;2020年12月19日(星期六) 晚上9:35
> > 收件人:&nbsp;"user-zh" >
> > 主题:&nbsp;Re: flink-shaded-hadoop-2-uber版本如何选择
> >
> >
> >
> > 你只需要在Flink Client端设置HADOOP_CONF_DIR的环境就可以了
> > Flink
> >
> >
> Client会自动把hdfs-site.xml、core-site.xml文件通过创建一个单独ConfigMap，然后挂载给JobManager和TaskManager的
> >
> 同时这两个配置也会自动加载到classpath下，只需要lib下放了flink-shaded-hadoop，就不需要做其他事情，可以直接访问hdfs的
> >
> >
> > Best,
> > Yang
> >
> > liujian <13597820...@qq.com&gt; 于2020年12月19日周六 下午8:29写道：
> >
> > &gt;
> > &gt;
> >
> HDFS是Ha模式,需要指定hdfs-site.xml,这该怎么处理,使用configMap还是将hdfs-site.xml放入到$FLINK_HOME/conf目录下
> > &gt;
> > &gt;
> > &gt;
> --&amp;nbsp;原始邮件&amp;nbsp;--
> > &gt; 发件人:
> >
> &gt;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;
> > "user-zh"
> >
> &gt;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;
> > <
> > &gt; danrtsey...@gmail.com&amp;gt;;
> > &gt; 发送时间:&amp;nbsp;2020年12月16日(星期三) 晚上7:21
> > &gt; 收件人:&amp;nbsp;"superainbower" &amp;gt;;
> > &gt; 抄送:&amp;nbsp;"user-zh" &amp;gt;;
> > &gt; 主题:&amp;nbsp;Re: flink-shaded-hadoop-2-uber版本如何选择
> > &gt;
> > &gt;
> > &gt;
> > &gt;
> > &gt;
> >
> 如果是在K8s上面访问hdfs，还是需要把flink-shaded-hadoop放到lib目录下，因为目前hadoop的FileSystem并不支持plugin加载
> > &gt;
> > &gt; Best,
> > &gt; Yang
> > &gt;
> > &gt; superainbower  于2020年12月16日周三 下午6:19写道：
> > &gt;
> > &gt; &amp;gt; 借楼请问下，部署到K8S上怎么访问HDFS呢，目前我还是把shaded的jar打到镜像里面去
> > &gt; &amp;gt; 在2020年12月16日 10:53，Yang Wang <
> danrtsey...@gmail.com&amp;gt;
> > 写道：
> > &gt; &amp;gt;
> > &gt; &amp;gt; 以flink-shaded-hadoop-2-uber的2.8.3-10.0为例
> > &gt; &amp;gt;
> > &gt; &amp;gt; 2.8.3指的hadoop的版本，10.0指定的flink-shaded[1]的版本
> > &gt; &

?????? flink-shaded-hadoop-2-uber????????????

[liujian]

??history-server,,,??,




--  --
??: 
   "user-zh"

https://github.com/apache/flink-docker/blob/dev-master/docker-entrypoint.sh

Best,
Yang


liujian <13597820...@qq.com> ??2020??12??20?? 12:45??

> Thanks, 
>     
 ??historyServer,flink
> 1.12.0??Dockerfile ??CMD ["history-server"]  
??8082,??
>
>
>
>
> --  --
> ??:
>  
 "user-zh"
>
 <
> danrtsey...@gmail.com>;
> : 2020??12??19??(??) 9:35
> ??: "user-zh"https://github.com/apache/flink-shaded
> > &gt; [2].
> > &gt;
> > &gt;
> >
> 
https://ci.apache.org/projects/flink/flink-docs-master/deployment/resource-providers/yarn.html#preparation
> >
> 
;;
> &gt
> > <
> 
https://ci.apache.org/projects/flink/flink-docs-master/deployment/resource-providers/yarn.html#preparation&gt>
> ;
> > ;
> > &gt; Best,
> > &gt; Yang
> > &gt;
> > &gt;  

Re: flink-shaded-hadoop-2-uber版本如何选择

[Yang Wang]

你不需要修改CMD，entrypoint默认是docker-entrypoint.sh[1]，是支持history-server的，只要传一个history-server的参数就可以了

[1].
https://github.com/apache/flink-docker/blob/dev-master/docker-entrypoint.sh

Best,
Yang


liujian <13597820...@qq.com> 于2020年12月20日周日 下午12:45写道：

> Thanks, 
>      但是我需要访问historyServer,那么应该需要如何操作我将flink
> 1.12.0的Dockerfile 修改成CMD ["history-server"]  并暴露8082端口,但是好像达不到这个效果
>
>
>
>
> -- 原始邮件 --
> 发件人:
>   "user-zh"
> <
> danrtsey...@gmail.com>;
> 发送时间: 2020年12月19日(星期六) 晚上9:35
> 收件人: "user-zh"
> 主题: Re: flink-shaded-hadoop-2-uber版本如何选择
>
>
>
> 你只需要在Flink Client端设置HADOOP_CONF_DIR的环境就可以了
> Flink
>
> Client会自动把hdfs-site.xml、core-site.xml文件通过创建一个单独ConfigMap，然后挂载给JobManager和TaskManager的
> 同时这两个配置也会自动加载到classpath下，只需要lib下放了flink-shaded-hadoop，就不需要做其他事情，可以直接访问hdfs的
>
>
> Best,
> Yang
>
> liujian <13597820...@qq.com> 于2020年12月19日周六 下午8:29写道：
>
> >
> >
> HDFS是Ha模式,需要指定hdfs-site.xml,这该怎么处理,使用configMap还是将hdfs-site.xml放入到$FLINK_HOME/conf目录下
> >
> >
> > --&nbsp;原始邮件&nbsp;--
> > 发件人:
> >  
> "user-zh"
> >            
> <
> > danrtsey...@gmail.com&gt;;
> > 发送时间:&nbsp;2020年12月16日(星期三) 晚上7:21
> > 收件人:&nbsp;"superainbower" > 抄送:&nbsp;"user-zh" > 主题:&nbsp;Re: flink-shaded-hadoop-2-uber版本如何选择
> >
> >
> >
> >
> >
> 如果是在K8s上面访问hdfs，还是需要把flink-shaded-hadoop放到lib目录下，因为目前hadoop的FileSystem并不支持plugin加载
> >
> > Best,
> > Yang
> >
> > superainbower  >
> > &gt; 借楼请问下，部署到K8S上怎么访问HDFS呢，目前我还是把shaded的jar打到镜像里面去
> > &gt; 在2020年12月16日 10:53，Yang Wang  写道：
> > &gt;
> > &gt; 以flink-shaded-hadoop-2-uber的2.8.3-10.0为例
> > &gt;
> > &gt; 2.8.3指的hadoop的版本，10.0指定的flink-shaded[1]的版本
> > &gt;
> > &gt;
> >
> 社区从1.10开始不再推荐使用flink-shaded-hadoop的方式，而且通过设置HADOOP_CLASSPATH环境变量来提交[2]，
> > &gt; 这样可以让Flink变得hadoop free，从而同时支持hadoop2和hadoop3
> > &gt;
> > &gt; 如果你还坚持使用flink-shaded-hadoop，那就建议使用最新的版本就可以了2.8.3-10.0
> > &gt;
> > &gt;
> > &gt; [1]. https://github.com/apache/flink-shaded
> > &gt; [2].
> > &gt;
> > &gt;
> >
> https://ci.apache.org/projects/flink/flink-docs-master/deployment/resource-providers/yarn.html#preparation
> >
> <https://ci.apache.org/projects/flink/flink-docs-master/deployment/resource-providers/yarn.html#preparation>>;
> &gt
> > <
> https://ci.apache.org/projects/flink/flink-docs-master/deployment/resource-providers/yarn.html#preparation&gt>
> ;
> > ;
> > &gt; Best,
> > &gt; Yang
> > &gt;
> > &gt; 赢峰  > &gt;
> > &gt; &gt; flink-shaded-hadoop-2-uber版本如何选择？
> > &gt; &gt;
> > &gt; &gt;
> > &gt; &gt; xxx-xxx 分别表示什么意思？
> > &gt; &gt;
> > &gt; &gt;
> > &gt; &gt;
> > &gt;
> > &gt;

?????? flink-shaded-hadoop-2-uber????????????

[liujian]

Thanks, 
     ??historyServer,flink 
1.12.0??Dockerfile ??CMD ["history-server"]  
??8082,??




--  --
??: 
   "user-zh"

https://github.com/apache/flink-shaded
> > [2].
> >
> >
> 
https://ci.apache.org/projects/flink/flink-docs-master/deployment/resource-providers/yarn.html#preparation
> >
> 
;
> ;
> > Best,
> > Yang
> >
> >  

Re: flink-shaded-hadoop-2-uber版本如何选择

[Yang Wang]

你只需要在Flink Client端设置HADOOP_CONF_DIR的环境就可以了
Flink
Client会自动把hdfs-site.xml、core-site.xml文件通过创建一个单独ConfigMap，然后挂载给JobManager和TaskManager的
同时这两个配置也会自动加载到classpath下，只需要lib下放了flink-shaded-hadoop，就不需要做其他事情，可以直接访问hdfs的


Best,
Yang

liujian <13597820...@qq.com> 于2020年12月19日周六 下午8:29写道：

>
> HDFS是Ha模式,需要指定hdfs-site.xml,这该怎么处理,使用configMap还是将hdfs-site.xml放入到$FLINK_HOME/conf目录下
>
>
> -- 原始邮件 --
> 发件人:
>   "user-zh"
> <
> danrtsey...@gmail.com>;
> 发送时间: 2020年12月16日(星期三) 晚上7:21
> 收件人: "superainbower" 抄送: "user-zh" 主题: Re: flink-shaded-hadoop-2-uber版本如何选择
>
>
>
>
> 如果是在K8s上面访问hdfs，还是需要把flink-shaded-hadoop放到lib目录下，因为目前hadoop的FileSystem并不支持plugin加载
>
> Best,
> Yang
>
> superainbower 
> > 借楼请问下，部署到K8S上怎么访问HDFS呢，目前我还是把shaded的jar打到镜像里面去
> > 在2020年12月16日 10:53，Yang Wang  >
> > 以flink-shaded-hadoop-2-uber的2.8.3-10.0为例
> >
> > 2.8.3指的hadoop的版本，10.0指定的flink-shaded[1]的版本
> >
> >
> 社区从1.10开始不再推荐使用flink-shaded-hadoop的方式，而且通过设置HADOOP_CLASSPATH环境变量来提交[2]，
> > 这样可以让Flink变得hadoop free，从而同时支持hadoop2和hadoop3
> >
> > 如果你还坚持使用flink-shaded-hadoop，那就建议使用最新的版本就可以了2.8.3-10.0
> >
> >
> > [1]. https://github.com/apache/flink-shaded
> > [2].
> >
> >
> https://ci.apache.org/projects/flink/flink-docs-master/deployment/resource-providers/yarn.html#preparation
> >
> <https://ci.apache.org/projects/flink/flink-docs-master/deployment/resource-providers/yarn.html#preparation>>
> ;
> > Best,
> > Yang
> >
> > 赢峰  >
> > > flink-shaded-hadoop-2-uber版本如何选择？
> > >
> > >
> > > xxx-xxx 分别表示什么意思？
> > >
> > >
> > >
> >
> >

?????? flink-shaded-hadoop-2-uber????????????

[liujian]

HDFS??Ha,hdfs-site.xml,,configMap??hdfs-site.xml??$FLINK_HOME/conf??


--  --
??: 
   "user-zh"

https://github.com/apache/flink-shaded
> [2].
>
> 
https://ci.apache.org/projects/flink/flink-docs-master/deployment/resource-providers/yarn.html#preparation
>
> Best,
> Yang
>
>  

Re: flink-shaded-hadoop-2-uber版本如何选择

[Yang Wang]

如果是在K8s上面访问hdfs，还是需要把flink-shaded-hadoop放到lib目录下，因为目前hadoop的FileSystem并不支持plugin加载

Best,
Yang

superainbower  于2020年12月16日周三 下午6:19写道：

> 借楼请问下，部署到K8S上怎么访问HDFS呢，目前我还是把shaded的jar打到镜像里面去
> 在2020年12月16日 10:53，Yang Wang  写道：
>
> 以flink-shaded-hadoop-2-uber的2.8.3-10.0为例
>
> 2.8.3指的hadoop的版本，10.0指定的flink-shaded[1]的版本
>
> 社区从1.10开始不再推荐使用flink-shaded-hadoop的方式，而且通过设置HADOOP_CLASSPATH环境变量来提交[2]，
> 这样可以让Flink变得hadoop free，从而同时支持hadoop2和hadoop3
>
> 如果你还坚持使用flink-shaded-hadoop，那就建议使用最新的版本就可以了2.8.3-10.0
>
>
> [1]. https://github.com/apache/flink-shaded
> [2].
>
> https://ci.apache.org/projects/flink/flink-docs-master/deployment/resource-providers/yarn.html#preparation
>
> Best,
> Yang
>
> 赢峰  于2020年12月11日周五 上午8:45写道：
>
> > flink-shaded-hadoop-2-uber版本如何选择？
> >
> >
> > xxx-xxx 分别表示什么意思？
> >
> >
> >
>
>

回复：flink-shaded-hadoop-2-uber版本如何选择

[superainbower]

借楼请问下，部署到K8S上怎么访问HDFS呢，目前我还是把shaded的jar打到镜像里面去

在2020年12月16日 10:53，Yang Wang 写道：
以flink-shaded-hadoop-2-uber的2.8.3-10.0为例

2.8.3指的hadoop的版本，10.0指定的flink-shaded[1]的版本

社区从1.10开始不再推荐使用flink-shaded-hadoop的方式，而且通过设置HADOOP_CLASSPATH环境变量来提交[2]，
这样可以让Flink变得hadoop free，从而同时支持hadoop2和hadoop3

如果你还坚持使用flink-shaded-hadoop，那就建议使用最新的版本就可以了2.8.3-10.0


[1]. https://github.com/apache/flink-shaded
[2].
https://ci.apache.org/projects/flink/flink-docs-master/deployment/resource-providers/yarn.html#preparation

Best,
Yang

赢峰  于2020年12月11日周五 上午8:45写道：

> flink-shaded-hadoop-2-uber版本如何选择？
>
>
> xxx-xxx 分别表示什么意思？
>
>
>

Re: flink-shaded-hadoop-2-uber版本如何选择

[Yang Wang]

以flink-shaded-hadoop-2-uber的2.8.3-10.0为例

2.8.3指的hadoop的版本，10.0指定的flink-shaded[1]的版本

社区从1.10开始不再推荐使用flink-shaded-hadoop的方式，而且通过设置HADOOP_CLASSPATH环境变量来提交[2]，
这样可以让Flink变得hadoop free，从而同时支持hadoop2和hadoop3

如果你还坚持使用flink-shaded-hadoop，那就建议使用最新的版本就可以了2.8.3-10.0


[1]. https://github.com/apache/flink-shaded
[2].
https://ci.apache.org/projects/flink/flink-docs-master/deployment/resource-providers/yarn.html#preparation

Best,
Yang

赢峰  于2020年12月11日周五 上午8:45写道：

> flink-shaded-hadoop-2-uber版本如何选择？
>
>
> xxx-xxx 分别表示什么意思？
>
>
>

Re: flink-shaded-hadoop-2-uber*-* 版本确定问题

[Yang Wang]

你得确认hadoop classpath返回的是完整的，正常情况下hadoop classpath这个命令会把所有的hadoop jar都包含进去的
如果报类或者方法不存在需要确认相应的jar是否存在，并且包含进去了

社区推荐hadoop classpath的方式主要是想让Flink做到hadoop free，这样在hadoop2和hadoop3都可以正常运行了

Best,
Yang

Jacob <17691150...@163.com> 于2020年12月15日周二 上午9:25写道：

> 谢谢回复！
>
> 这个文档我也有查看
>
> 前几日在flink1.9-1.12各个客户端测试提交job时候发现
> 对于1.10+的版本，我手动导入export HADOOP_CLASSPATH=`hadoop
>
> classpath`，没有效果，各种报错，基本都是Hadoop相关类、方法不存在（NoSuchMethod之类错误），把pom文件改来改去依然无用，后来只在pom文件中导入依赖：flink-shaded-hadoop-2-uber*-*，竟然可以正常提交并运行job了。
>
>
>
>
> --
> Sent from: http://apache-flink.147419.n8.nabble.com/

Re: flink-shaded-hadoop-2-uber*-* 版本确定问题

[Jacob]

谢谢回复！

这个文档我也有查看

前几日在flink1.9-1.12各个客户端测试提交job时候发现
对于1.10+的版本，我手动导入export HADOOP_CLASSPATH=`hadoop
classpath`，没有效果，各种报错，基本都是Hadoop相关类、方法不存在（NoSuchMethod之类错误），把pom文件改来改去依然无用，后来只在pom文件中导入依赖：flink-shaded-hadoop-2-uber*-*，竟然可以正常提交并运行job了。




--
Sent from: http://apache-flink.147419.n8.nabble.com/

Re: flink-shaded-hadoop-2-uber*-* 版本确定问题

[silence]

flink已经不建议将hadoop的jar放到lib里了

可以通过
export HADOOP_CLASSPATH=`hadoop classpath` 
加载hadoop的依赖
参考链接：
https://ci.apache.org/projects/flink/flink-docs-release-1.11/ops/deployment/hadoop.html#providing-hadoop-classes



--
Sent from: http://apache-flink.147419.n8.nabble.com/

flink-shaded-hadoop-2-uber*-* 版本确定问题

[Jacob]

请问在升级flink版本的过程中，需要在flink/lib里面引入该包，但该包的版本号如何确定？
flink-shaded-hadoop-2-uber*-*



--
Sent from: http://apache-flink.147419.n8.nabble.com/

flink-shaded-hadoop-2-uber版本如何选择

[赢峰]

flink-shaded-hadoop-2-uber版本如何选择？




xxx-xxx 分别表示什么意思？