Question

我想知道Amazon EMR 5.20 AMI是否支持Java 9？

我在这里找不到信息。我会对将Spark 2.4.0与JDK 9和Scala 2.12结合使用感兴趣。

https://docs.aws.amazon.com/fr_fr/emr/latest/ReleaseGuide/emr-release-5x.html https://docs.aws.amazon.com/cli/latest/reference/emr/create-cluster.html

谢谢。

Answer 1

首先，您不能将Scala 2.12.x与Spark 2.4.0一起使用（顺便说一句，有实验性支持，请参见注释）。如documentation中所述，要使用Spark 2.4.0，您将需要使用兼容的Scala版本2.11.x系列。

第二，从documentation开始，JDK9 +与Scala 2.11.12兼容，但它与incomplete兼容。

最后，AWS EMR 5.20使用Apache Spark 2.4.0。您可以从主节点中的命令行检查JDK版本。

>java -version
openjdk version "1.8.0_191"
# "b" means "build"
# Version number is 8u191, which also means JDK 8 Update 191
OpenJDK Runtime Environment (build 1.8.0_191-b12)
OpenJDK 64-Bit Server VM (build 25.191-b12, mixed mode)

或者，您可以直接运行spark-shell命令，该命令将同时打印Scala（2.11.12）和JDK版本（JDK8）。

希望对您有帮助！

注意：：另一个doc也指出Java 8是AWS EMR 5.0.0或更高版本的群集实例的默认JVM。

Answer 2

amazon-emr宣布了一个新的Beta版本的可用性，该版本目前包括最新的apache-spark版本（2.4.4），并使用scala 2.12。请检查以下内容：

https://aws.amazon.com/about-aws/whats-new/2019/11/amazon-emr-6-beta-2-adds-hive-3-with-llap-support-scala-212-with-spark-244/

AWS EMR 5.20和Java版本支持

2 个答案: