借楼请问下,部署到K8S上怎么访问HDFS呢,目前我还是把shaded的jar打到镜像里面去

在2020年12月16日 10:53,Yang Wang 写道:
以flink-shaded-hadoop-2-uber的2.8.3-10.0为例

2.8.3指的hadoop的版本,10.0指定的flink-shaded[1]的版本

社区从1.10开始不再推荐使用flink-shaded-hadoop的方式,而且通过设置HADOOP_CLASSPATH环境变量来提交[2],
这样可以让Flink变得hadoop free,从而同时支持hadoop2和hadoop3

如果你还坚持使用flink-shaded-hadoop,那就建议使用最新的版本就可以了2.8.3-10.0


[1]. https://github.com/apache/flink-shaded
[2].
https://ci.apache.org/projects/flink/flink-docs-master/deployment/resource-providers/yarn.html#preparation

Best,
Yang

赢峰 <si_ji_f...@163.com> 于2020年12月11日周五 上午8:45写道:

> flink-shaded-hadoop-2-uber版本如何选择?
>
>
> xxx-xxx 分别表示什么意思?
>
>
>

Reply via email to