在运行bin / pyspark时,您需要在运行此程序错误之前构建Spark

时间:2015-11-09 08:31:12

标签: apache-spark apache-spark-sql pyspark spark-streaming spark-view-engine

我开始使用Spark。

启动火花时我遇到了问题。

我是从spark官方网站下载的,我试图从这个https://spark.apache.org/docs/0.9.0/quick-start.html

快速启动

我已下载,设置了sparkhome。当我尝试从bin目录运行./pyspark时出现此错误:

soundarya@soundarya:~/Downloads/spark-1.5.0/bin$ sudo ./pyspark
[sudo] password for soundarya: 
ls: cannot access /home/soundarya/Downloads/spark-1.5.0/assembly/target/scala-2.10: No such file or directory
Failed to find Spark assembly in /home/soundarya/Downloads/spark-1.5.0/assembly/target/scala-2.10.
You need to build Spark before running this program.
soundarya@soundarya:~/Downloads/spark-1.5.0/bin$ 

任何人都可以帮我解决这个问题吗?

3 个答案:

答案 0 :(得分:1)

如果要使用源代码分发,则必须先构建Spark。您可以在Building Spark

中找到详细信息

否则只需从下载中下载二进制发行版(选择预先构建):

enter image description here

也不要使用过时的文档。您可以使用最新的:

http://spark.apache.org/docs/latest

或版本特定的

http://spark.apache.org/docs/1.5.0

答案 1 :(得分:0)

下载预建版本的spark,如建议零点0332。此外,在sudo模式下运行spark不是一个好习惯。

答案 2 :(得分:0)

检查您的spark文件夹名称(例如spark 2.4)中的空间,然后将其删除并制作spark-2.4将解决问题