sparkR安装问题1.4.1

时间:2015-07-16 14:21:36

标签: r sparkr

我在Mac上尝试了以下的spark 1.4.0和1.4.1。我正在下载包类型='源代码[可以构建几个Hadoop版本'并下载类型http://ftp.wayne.edu/apache/spark/spark-1.4.1/spark-1.4.1.tgz

当我在终端中运行./bin/sparkR时,收到一条错误消息,提示“~assembly / target / scala-2.10”未找到。有什么想法吗?

1 个答案:

答案 0 :(得分:1)

如果要直接使用SparkR,则需要下载为特定Hadoop版本预先构建的二进制包。要在笔记本电脑上运行,您可以使用任何Hadoop版本,所以说http://www.apache.org/dyn/closer.cgi/spark/spark-1.4.1/spark-1.4.1-bin-hadoop2.4.tgz(适用于Hadoop 2.4)应该没问题。

如果要使用源包,则需要在运行脚本之前构建Spark。您可以使用看起来像build/mvn -DskipTests -Psparkr package的命令来执行此操作。更多说明位于https://github.com/apache/spark/tree/master/R#sparkr-developmenthttp://spark.apache.org/docs/latest/building-spark.html