abstractdog commented on PR #6837:
URL: https://github.com/apache/hive/pull/6837#issuecomment-6606178225
I built one image on Hadoop 3.4.2 and one on 3.4.3, both with ./build.sh
-hive 4.2.0 -tez 0.10.5 and the amended commit. In both, the AWS SDK classes
and S3AFileSystem load through the hadoop CLI without HADOOP_OPTIONAL_TOOLS,
and the image contains exactly one SDK bundle.
```
┌─────────────────────────────────┬──────────────────────────────────────────────────────────────────────────────────────┬────────────────────────────────────────────────────────────────────┐
│ │
hadoop342-check/hive:4.2.0 (1668 MB) │
hadoop343-check/hive:4.2.0 (1707 MB) │
├─────────────────────────────────┼──────────────────────────────────────────────────────────────────────────────────────┼────────────────────────────────────────────────────────────────────┤
│ HADOOP_OPTIONAL_TOOLS / │ both unset
│ both unset
│
│ HADOOP_CLASSPATH │
│
│
├─────────────────────────────────┼──────────────────────────────────────────────────────────────────────────────────────┼────────────────────────────────────────────────────────────────────┤
│ common/lib S3 jars │ hadoop-aws-3.4.2, bundle-2.29.52 (642
MB), analyticsaccelerator-s3-1.2.1, │ hadoop-aws-3.4.3,
bundle-2.35.4 (686 MB), │
│ │ wildfly-openssl-2.1.4
│ analyticsaccelerator-s3-1.3.1,
wildfly-openssl-2.2.5 │
├─────────────────────────────────┼──────────────────────────────────────────────────────────────────────────────────────┼────────────────────────────────────────────────────────────────────┤
│ S3 jars in tools/lib │ none (moved out)
│ none (Hadoop doesn't ship them
there) │
├─────────────────────────────────┼──────────────────────────────────────────────────────────────────────────────────────┼────────────────────────────────────────────────────────────────────┤
│ SDK bundles in the whole image │ 1
│ 1
│
├─────────────────────────────────┼──────────────────────────────────────────────────────────────────────────────────────┼────────────────────────────────────────────────────────────────────┤
│ hadoop classpath --glob │ all four jars from common/lib
│ all four jars from common/lib
│
├─────────────────────────────────┼──────────────────────────────────────────────────────────────────────────────────────┼────────────────────────────────────────────────────────────────────┤
│ Classes loaded, with source jar │ S3AFileSystem from hadoop-aws;
SdkException, S3Client, S3AsyncClient, │ same
│
│ │ AwsCredentialsProvider,
S3TransferManager from the bundle │
│
├─────────────────────────────────┼──────────────────────────────────────────────────────────────────────────────────────┼────────────────────────────────────────────────────────────────────┤
│ hadoop fs -ls s3a://… │ NoAuthWithAWSException
│ NoAuthWithAWSException
│
└─────────────────────────────────┴────────────────────────────────────────────────────────────┴────────────────────────────────────────────────────────────────────┘
```
--
This is an automated message from the Apache Git Service.
To respond to the message, please log on to GitHub and use the
URL above to go to the specific comment.
To unsubscribe, e-mail: [email protected]
For queries about this service, please contact Infrastructure at:
[email protected]
---------------------------------------------------------------------
To unsubscribe, e-mail: [email protected]
For additional commands, e-mail: [email protected]
