我是Spark的新手并尝试首次安装。我已经下载了自制软件并用它安装了Maven。
我已运行以下内容以确保安装正确完成:
命令:maven - v
Apache Maven 3.3.9 (bb52d8502b132ec0a5a3f4c09453c07478323dc5; 2015-11-10T16:41:47+00:00)
Maven home: /usr/local/Cellar/maven/3.3.9/libexec
Java version: 1.8.0_111, vendor: Oracle Corporation
Java home: /Library/Java/JavaVirtualMachines/jdk1.8.0_111.jdk/Contents/Home/jre
Default locale: en_GB, platform encoding: UTF-8
OS name: "mac os x", version: "10.12.3", arch: "x86_64", family: "mac"
但是,当我尝试使用以下命令构建spark时:
./build/mvn -Pyarn -Phadoop-2.4 -Dhadoop.version=2.4.0 -DskipTests clean package
我收到此错误:
-bash: ./build/mvn: No such file or directory
更新:
我接着按照从这里安装Spark with Homebrew的说明进行操作:
•https://medium.com/@josemarcialportilla/installing-scala-and-apache-spark-on-mac-os-837ae57d283f#.ru5hi42v3 这很好,直到我重新启动终端。当我执行
火花壳 我明白了:
/usr/local/Cellar/apache-spark/2.1.0/libexec/bin/spark-shell: line 57: /usr/local/Cellar/apache-spark/2.0.1/libexec/bin/spark-submit: No such file or directory
非常感谢解决此问题的任何指示。
更新
我已将.bash_profile更新为此。
仍然得到同样的错误。但是当我通过终端转到文件夹直接访问文件时,我可以打开它。
答案 0 :(得分:1)
如果您安装的spark版本不是2.1.0,那么您必须修改行{{1}}以对应您拥有的spark版本。