Re:Re: Re:Flink1.8+Hadoop3.1.2 编译问题

2019-06-28 文章 USERNAME
您好,


非常感谢 唐老师 您的回复,问题已解决。谢谢!



在 2019-06-28 15:59:48,"Yun Tang"  写道:
>你好
>
>因为从Flink-1.8 开始,flink的默认编译选项里面就不再带上hadoop依赖了。可以参考[1] 
>了解更多信息。实际上从官方的下载链接[2]里面也说明了从Flink-1.8开始shaded-hadoop的相关jar包需要单独下载并放置在lib目录下。
>
>如果需要shaded-hadoop jar包,可以单独去编译好的 flink-shaded-hadoop 子项目目录下找到相关的jar包。
>
>[1] https://issues.apache.org/jira/browse/FLINK-11266
>[2] https://flink.apache.org/downloads.html
>
>祝好
>唐云
>
>
>
>From: USERNAME 
>Sent: Friday, June 28, 2019 15:41
>To: user-zh@flink.apache.org
>Subject: Re:Flink1.8+Hadoop3.1.2 编译问题
>
>修正图片内容
>
>
>
>在 2019-06-28 15:26:57,"USERNAME"  写道:
>
>1.软件版本
>Flink 1.8
>Hadoop 3.1.2
>Apache Maven 3.0.5
>
>
>2.操作方式
>>git clone -b release-1.8.0 https://github.com/apache/flink
>>cd flink
>>mvn clean install -DskipTests -Dhadoop.version=3.1.2
>
>
>3.问题
>编译成功之后 .flink/build-target/lib 目录只有三个文件(↓)
>-rw-r--r-- 1 flink flink 96049496 Jun 28 15:17 flink-dist_2.11-1.8.0.jar
>-rw-rw-r-- 1 flink flink   489884 Jun 19 13:35 log4j-1.2.17.jar
>-rw-rw-r-- 1 flink flink 9931 Jun 19 13:35 slf4j-log4j12-1.7.15.jar
>
>
>正常的Flink1.7.2的编译结果(↓)
>-rw-r--r-- 1 flink flink 93445603 Mar 27 22:46 flink-dist_2.11-1.7.2.jar
>-rw-r--r-- 1 flink flink   141881 Mar 27 22:44 flink-python_2.11-1.7.2.jar
>-rw-r--r-- 1 flink flink 53380671 Mar 27 22:19 
>flink-shaded-hadoop2-uber-1.7.2.jar
>-rw-rw-r-- 1 flink flink   489884 Mar 27 22:16 log4j-1.2.17.jar
>-rw-rw-r-- 1 flink flink 9931 Mar 27 22:16 slf4j-log4j12-1.7.15.jar
>
>
>有没有遇到过此问题的??
>
>
>
>
>
>
>
>
>


Re: Re:Flink1.8+Hadoop3.1.2 编译问题

2019-06-28 文章 Yun Tang
你好

因为从Flink-1.8 开始,flink的默认编译选项里面就不再带上hadoop依赖了。可以参考[1] 
了解更多信息。实际上从官方的下载链接[2]里面也说明了从Flink-1.8开始shaded-hadoop的相关jar包需要单独下载并放置在lib目录下。

如果需要shaded-hadoop jar包,可以单独去编译好的 flink-shaded-hadoop 子项目目录下找到相关的jar包。

[1] https://issues.apache.org/jira/browse/FLINK-11266
[2] https://flink.apache.org/downloads.html

祝好
唐云



From: USERNAME 
Sent: Friday, June 28, 2019 15:41
To: user-zh@flink.apache.org
Subject: Re:Flink1.8+Hadoop3.1.2 编译问题

修正图片内容



在 2019-06-28 15:26:57,"USERNAME"  写道:

1.软件版本
Flink 1.8
Hadoop 3.1.2
Apache Maven 3.0.5


2.操作方式
>git clone -b release-1.8.0 https://github.com/apache/flink
>cd flink
>mvn clean install -DskipTests -Dhadoop.version=3.1.2


3.问题
编译成功之后 .flink/build-target/lib 目录只有三个文件(↓)
-rw-r--r-- 1 flink flink 96049496 Jun 28 15:17 flink-dist_2.11-1.8.0.jar
-rw-rw-r-- 1 flink flink   489884 Jun 19 13:35 log4j-1.2.17.jar
-rw-rw-r-- 1 flink flink 9931 Jun 19 13:35 slf4j-log4j12-1.7.15.jar


正常的Flink1.7.2的编译结果(↓)
-rw-r--r-- 1 flink flink 93445603 Mar 27 22:46 flink-dist_2.11-1.7.2.jar
-rw-r--r-- 1 flink flink   141881 Mar 27 22:44 flink-python_2.11-1.7.2.jar
-rw-r--r-- 1 flink flink 53380671 Mar 27 22:19 
flink-shaded-hadoop2-uber-1.7.2.jar
-rw-rw-r-- 1 flink flink   489884 Mar 27 22:16 log4j-1.2.17.jar
-rw-rw-r-- 1 flink flink 9931 Mar 27 22:16 slf4j-log4j12-1.7.15.jar


有没有遇到过此问题的??