Question

我的最终目标是使用spark运行iPython。我有一台带有Anaconda的Mac（El Capitan），Spark 1.6.0，py4j 0.9和jdk 1.8.0_73。

当我运行sbt assembly时，出现内存不足的错误。我尝试设置SBT_OPTS，但没有帮助。

$ echo $SBT_OPTS 
-Xmx2G -XX:+UseConcMarkSweepGC -XX:+CMSClassUnloadingEnabled -XX:PermSize=256M -XX:MaxPermSize=1024M`

所以我尝试使用maven进行安装。

./make-distribution.sh --name custom-spark --tgz -Psparkr -Phadoop-2.4 -Phive -Phive-thriftserver -Pyarn

这对我也没有用。我收到以下错误

[INFO] Spark Project Unsafe ............................... SUCCESS [  9.739 s]
[INFO] Spark Project Core ................................. FAILURE [01:13 min]
.
.
.
[INFO] BUILD FAILURE
[INFO] ------------------------------------------------------------------------
[INFO] Total time: 01:54 min
[INFO] Finished at: 2016-02-12T01:05:51-08:00
[INFO] Final Memory: 55M/685M
[INFO] ------------------------------------------------------------------------
[ERROR] Failed to execute goal org.codehaus.mojo:exec-maven-plugin:1.4.0:exec (sparkr-pkg) on project spark-core_2.10: Command execution failed. Process exited with an error: 127 (Exit value: 127) -> [Help 1]

我试图搜索错误127，但没有发现任何解决了我的问题。我想知道我是否有某种防火墙设置（一直使用家庭网络）

任何帮助/指针都将非常感谢！

Answer 1

我通过制作包含

的.sbt_config文件解决了这个问题

SBT_OPTS="-Xmx2G -XX:+UseConcMarkSweepGC -XX:+CMSClassUnloadingEnabled -XX:MaxPermSize=2G -Xss2M"

sbt汇编错误 - 内存不足

1 个答案: