我应该下载哪个Spark版本才能在Hadoop 3.1.2之上运行？

Question

在Spark下载page中，我们可以在版本3.0.0-preview和2.4.4之间进行选择。

对于3.0.0版预览版，有程序包类型

• 为Apache Hadoop 2.7预先构建的
• 为Apache Hadoop 3.2及更高版本预构建
• 使用用户提供的Apache Hadoop预先构建
• 源代码

对于版本2.4.4，有程序包类型

• 为Apache Hadoop 2.7预先构建的
• 为Apache Hadoop 2.6预先构建的
• 使用用户提供的Apache Hadoop预先构建
• 使用Scala 2.12和用户提供的Apache Hadoop预先构建
• 源代码

由于没有为Apache Hadoop 3.1.2预先构建的选项，我可以下载由用户提供的Apache Hadoop预先构建的软件包吗？我下载了源代码？

Answer 1

如果您愿意构建源代码，那么这是您的最佳选择。

否则，您已经有一个Hadoop集群，因此选择“用户提供”，然后将所有相关的core-site.xml，hive-site.xml，yarn-site.xml和hdfs-site.xml复制到$SPARK_CONF_DIR，希望它可以正常工作

注意：直到Spark 3.x-SPARK-18673

，DataFrame才能在Hadoop 3上运行