Question

我需要在Windows计算机上安装Apache Spark。根据文档，我应该在我的机器上安装sbt，并覆盖其默认选项以使用最多2G的RAM。

经过多次尝试后我决定选择maven（我将默认选项改为使用512MB）并且我可以运行mvn compile开始下载一些依赖项，直到它到达Zinc服务器。它说Zinc服务器没有在端口8080上运行，并且maven在构建时失败了。

我是否需要在本地安装Zinc服务器并将其添加到Windows路径？我可以在没有服务器的情况下编译我的项目吗？

Answer 1

我刚刚开始学习Apache Spark，所以我可能远非有效的答案。它适用于我在Mac OS X上，所以你的millage可能会有所不同。

构建过程在Building：

中描述

Spark使用简单构建工具，它与它捆绑在一起。要编译代码，进入顶级Spark目录并运行
sbt/sbt assembly

我没有更改默认构建设置来进行装配。

昨天来自消息来源：

jacek:~/oss/spark
$ sbt/sbt assembly
...
[success] Total time: 3632 s, completed May 6, 2014 2:39:07 AM

今天从源代码构建了一些环境变量，这些变量为最终的程序集添加了很少的其他模块：

jacek:~/oss/spark
$ SPARK_HADOOP_VERSION=2.4.0 SPARK_YARN=true SPARK_HIVE=true sbt/sbt assembly
...
[success] Total time: 4564 s, completed May 7, 2014 1:49:56 AM

在Windows上安装Apache Spark

1 个答案: