在linux上安装Apache Spark

时间:2015-09-04 20:52:50

标签: apache-spark

我在linux上安装Apache Spark。我已经下载了Java,Scala和Spark,它们都位于Home文件夹下的Downloads文件夹中,路径为/ home / alex / Downloads / X,其中X = scala,java,spark,字面意思是这些文件夹被调用。

我让scala工作但是当我尝试通过键入./bin/spark-shell来运行spark时,它说:

/home/alex/Downloads/spark/bin/saprk-class: line 100: /usr/bin/java/bin/java: Not a directory

我已经通过使用sudo gedit~ / .bashrc编辑bashrc来包含文件路径:

# JAVA
export JAVA_HOME=/home/alex/Downloads/java
export PATH=$PATH:$JAVA_HOME/bin

# scala
export SCALA_HOME=/home/alex/Downloads/scala
export PATH=$PATH:$SCALA_HOME/bin

# spark
export SPARK_HOME=/home/alex/Downloads/spark
export PATH=$PATH:$SPARK_HOME/bin

当我尝试在spark文件夹中输入sbt / sbt包时,它说没有找到这样的文件或目录。我该怎么办?

3 个答案:

答案 0 :(得分:1)

看起来你有一些问题,即你的JAVA_HOME没有指向带java的目录,当你在spark中运行sbt时,你应该运行./sbt/sbt(或者在新版本./build/sbt中)。虽然你可以下载Java&手动Scala,您可能会发现您的系统包足够(确保获得jdk 7或更高版本)。

答案 1 :(得分:1)

此外,在使用Holden指出的系统软件包之后,在Linux中,您可以使用命令whereis来确保正确的路径。

最后,以下链接可能有用: http://www.tutorialspoint.com/apache_spark/apache_spark_installation.htm 希望这会有所帮助。

答案 2 :(得分:0)

注意:目录名称

可能存在配置问题,拼写错误
/home/alex/Downloads/spark/bin/saprk-class: line 100: /usr/bin/java/bin/java: Not a directory
  

saprk级

这可能只是一个配置问题,但如果在其他地方调用它/ spark-class以查看它是否会导致相关问题,那么值得一看。