使用Hadoop 3.1.2进行Spark Make-Distribution

Question

尝试使用当前的Hadoop 3.1.2（在CentOS 7.5上）从源代码构建Spark 2.4.3：

./dev/make-distribution.sh --name hadoop3.1.2 --pip --tgz -Phadoop-3.1

使用Hadoop 3.1.0 jar生成压缩包，但是

./dev/make-distribution.sh --name hadoop3.1.2 --pip --tgz -Phadoop-3.1.2

生成针对Hadoop 2.6.5的构建。

mvn help:evaluate -Dexpression=hadoop.version -Phadoop-3.1.2似乎表明3.1.2不是有效的标签，但它是Hadoop的当前稳定版本，并且是Maven Central中的一个标签。

是否存在无法满足的依赖关系，导致make-distribution脚本无法找到所需的内容？

Answer 1

了解到配置文件是在Spark源的pom文件中定义的。 Hadoop的最高版本是3.1.0。