使用Maven安装Spark(MAC OSX)

时间:2017-03-12 10:12:14

标签: macos apache-spark maven-3

我是Spark的新手并尝试首次安装。我已经下载了自制软件并用它安装了Maven。

我已运行以下内容以确保安装正确完成:

命令:maven - v

Apache Maven 3.3.9 (bb52d8502b132ec0a5a3f4c09453c07478323dc5; 2015-11-10T16:41:47+00:00)
Maven home: /usr/local/Cellar/maven/3.3.9/libexec
Java version: 1.8.0_111, vendor: Oracle Corporation
Java home: /Library/Java/JavaVirtualMachines/jdk1.8.0_111.jdk/Contents/Home/jre
Default locale: en_GB, platform encoding: UTF-8
OS name: "mac os x", version: "10.12.3", arch: "x86_64", family: "mac"

但是,当我尝试使用以下命令构建spark时:

 ./build/mvn -Pyarn -Phadoop-2.4 -Dhadoop.version=2.4.0 -DskipTests clean package

我收到此错误:

-bash: ./build/mvn: No such file or directory

更新:

我接着按照从这里安装Spark with Homebrew的说明进行操作:

https://medium.com/@josemarcialportilla/installing-scala-and-apache-spark-on-mac-os-837ae57d283f#.ru5hi42v3 这很好,直到我重新启动终端。当我执行

火花壳 我明白了:

/usr/local/Cellar/apache-spark/2.1.0/libexec/bin/spark-shell: line 57: /usr/local/Cellar/apache-spark/2.0.1/libexec/bin/spark-submit: No such file or directory

非常感谢解决此问题的任何指示。

更新

我已将.bash_profile更新为此。

enter image description here

仍然得到同样的错误。但是当我通过终端转到文件夹直接访问文件时,我可以打开它。

1 个答案:

答案 0 :(得分:1)

如果您安装的spark版本不是2.1.0,那么您必须修改行{{1}}以对应您拥有的spark版本。