我在Hadoop / Spark项目中遇到与AWS访问有关的依赖性问题。
以下是例外：
异常或错误导致运行中止：
com.amazonaws.services.s3.transfer.TransferManager。（Lcom / amazonaws / services / s3 / AmazonS3; Ljava / util / concurrent / ThreadPoolExecutor;）V
java.lang.NoSuchMethodError：com.amazonaws.services.s3.transfer.TransferManager。（Lcom / amazonaws / services / s3 / AmazonS3; Ljava / util / concurrent / ThreadPoolExecutor;）V
具有版本：
com.amazonaws:aws-java-sdk-s3:1.11.238 org.apache.hadoop:hadoop-aws:2.7.3带来了com.amazonaws:aws-java-sdk:1.7.4 所以我想我需要对齐1.7.4和1.11.xxx？
将Hadoop升级到3.2取决于1.11.xxx中的aws-java-sdk ，但是当前是没有问题的，因为这需要升级{{1 }}和...我们目前无法做到这一点。
没有Spark，因此降级也是没有选择的。
有人熟悉吗？
Hadoop has a troubleshooting section on this，但涉及com.amazonaws:aws-java-sdk-s3:1.7.4软件包之间的依赖关系冲突。我的hadoop和hadoop-common都是hadoop-aws