使用源代码和获取预构建版本时使用了不同的Spark版本

Question

我已经下载了Spark源代码（分支2.4），并使用Hadoop 2.7.4的内置指令构建了jar。我还下载了Spark 2.4.4的预构建版本（为Hadoop 2.7预构建）。

启动spark-shell时，我看到两个不同版本的Spark，如下图所示：

在第一张图片中，下载分支2.4的源代码后构建的jar的版本是3.0.0。第二张图片来自apache spark网站上的预构建版本。不仅如此，计划在第一种情况下使用RelationV2，在第二种情况下使用Relation逻辑节点。

谁能解释为什么会有这样的区别？

Answer 1

您肯定会感到困惑，因为3.0.0是下载源代码或预构建版本的默认选择。也许我误会了，但是，根据我的评论，请仔细检查您所构建的版本。