如何在Windows 8上构建Spark 1.1.0？

Question

我正在尝试在Windows 8上构建Apache Spark 1.1.0。

我已安装所有先决条件（Hadoop除外）并在根目录中运行sbt/sbt assembly。下载了很多文件后，我收到了一行后的错误：

Set current project to root <in build file:C:/.../spark-0.9.0-incubating/>". The error is: 
[error] Not a valid command: / 
[error] /sbt 
[error]  ^ 

如何在Windows上构建Spark？

Answer 1

注意请参阅我对版本差异的评论。

错误Not a valid command: /来自已执行并尝试执行命令/的sbt（作为/sbt字符串中的第一个字符）。它只能意味着sbt中有PATH个shell脚本（可能在当前工作目录之外单独安装）或当前工作目录中。

只需执行sbt assembly，就可以构建Spark了。

根据the main page of Spark：

  

如果您想从头开始构建Spark，请访问building Spark with Maven。

明确指出Spark的官方构建工具现在是Maven（不幸的是）。

您应该能够使用以下命令构建Spark包：

mvn -Pyarn -Phadoop-2.4 -Dhadoop.version=2.4.0 -DskipTests clean package

它对我来说很好。