兼容Spark 2.3的hadop-aws和aws-java-sdk版本

Question

我使用Spark 2.3.0和Scala 2.11.8

以下库的兼容版本是什么？

hadoop-aws

aws-java-sdk

Answer 1

所有这些都发布到了Maven Central，因此，首先检查哪个hadoop版本spark 2.3依赖。它说hadoop-client 2.6.5。幸运的是hadoop-aws遵循相同的版本，因此this是相应的aws依赖项。最后，我们可以看到hadoop-aws 2.6.5取决于aws-java-sdk 1.7.4。

Answer 2

假设您正在使用EMR，可以在AWS UI的“ EMR集群摘要”选项卡上找到相关版本，例如：

还可以在https://docs.aws.amazon.com/emr/latest/ReleaseGuide/emr-release-5x.html上看到与每个EMR版本兼容的软件版本。