Question

我在64位Windows 7上，正在关注this blog安装Spark 2.1.0。

所以我尝试从我从https://github.com/apache/spark克隆到C:\spark-2.1.0的来源构建Spark。

当我运行sbt assembly或sbt -J-Xms2048m -J-Xmx2048m assembly时，我得到：

[info] Loading project definition from C:\spark-2.1.0\project
[info] Compiling 3 Scala sources to C:\spark-2.1.0\project\target\scala-2.10\sbt-0.13\classes...
java.lang.StackOverflowError
at java.security.AccessController.doPrivileged(Native Method)
at java.io.PrintWriter.<init>(Unknown Source)
at java.io.PrintWriter.<init>(Unknown Source)
at scala.reflect.api.Printers$class.render(Printers.scala:168)
at scala.reflect.api.Universe.render(Universe.scala:59)
at scala.reflect.api.Printers$class.show(Printers.scala:190)
at scala.reflect.api.Universe.show(Universe.scala:59)
at scala.reflect.api.Printers$class.treeToString(Printers.scala:182)
...

我按照建议调整了sbt的内存设置，无论如何都会被忽略。有任何想法吗？

Answer 1

链接的博客帖子是＆＃34;发布于2015年4月29日＆＃34;现在已经2岁了，应该只是阅读以了解事情发生了怎样的变化（我甚至不想将博客文章链接起来以阻止人们访问该网站）。

2017年在Windows上安装Spark的方法如下：

从http://spark.apache.org/downloads.html下载Spark。
阅读从Downloading开始的官方文档。

那就是它。

在Windows上安装Spark

由于Hadoop的要求，Windows已经为您提供了问题（而Spark确实使用了Hadoop API）。

您必须安装winutils二进制文件，您可以在https://github.com/steveloughran/winutils存储库中找到它。

提示：您应该选择编译Spark分发版的Hadoop版本，例如：使用hadoop-2.7.1 for Spark 2.1.0。

将winutils.exe二进制文件保存到您选择的目录中，例如c:\hadoop\bin并定义HADOOP_HOME以包含c:\hadoop。

有关更多步骤，请参阅Running Spark Applications on Windows。

Answer 2

以下设置适用于我（sbtconfig.txt）：

# Set the java args to high

-Xmx1024M

-XX:MaxPermSize=2048m

-Xss2M

-XX:ReservedCodeCacheSize=128m

# Set the extra SBT options

-Dsbt.log.format=true

如何在Windows 7 64位上安装Spark 2.1.0？

2 个答案:

在Windows上安装Spark