Question

我按照书中的说明在我的Mac上安装了spark：“24小时内的Apache Spark”。当我在spark目录中时，我可以使用以下命令运行pyspark：

./bin/pyspark

要安装spark我创建了env变量：

export SPARK_HOME=/opt/spark

将其添加到路径：

export PATH=$SPARK_HOME/bin:$PATH

这本书说我应该可以从任何目录运行“pyspark”或“spark-shell”命令，但它不起作用：

pyspark: command not found

我按照其他人在这里提出的类似问题的说明进行了说明：

我设置了我的JAVA_HOME env变量：

export JAVA_HOME=$(/usr/libexec/java_home)

我还运行了以下命令：

export PYTHONPATH=$SPARK_HOME/python/:$PYTHONPATH
export PYTHONPATH=$SPARK_HOME/python/lib/py4j-0.9-src.zip:$PYTHONPATH

当我运行env命令时，这是输出：

SPARK_HOME=/opt/spark
TERM_PROGRAM=Apple_Terminal
SHELL=/bin/bash
TERM=xterm-256color
TMPDIR=/var/folders/hq/z0wh5c357cbgp1dh33lfhjj40000gn/T/
Apple_PubSub_Socket_Render=/private/tmp/com.apple.launchd.fJdtLqZ7dN/Render
TERM_PROGRAM_VERSION=361.1
TERM_SESSION_ID=A8BD2144-72AD-402C-A591-5C8A43DD398B
USER=richardgray
SSH_AUTH_SOCK=/private/tmp/com.apple.launchd.cQeqaF2v1z/Listeners
__CF_USER_TEXT_ENCODING=0x1F5:0x0:0x0
PATH=/opt/spark/bin:/Library/Frameworks/Python.framework/Versions/3.5/bin:  /Library/Frameworks/Python.framework/Versions/3.5/bin:/Library/Frameworks/Python.framework/Versions/2.7/bin:/usr/local/heroku/bin:/Users/richardgray/.rbenv/shims:/usr/local/bin:/usr/bin:/bin:/usr/sbin:/sbin:/usr/local/bin:/usr/X11/bin
PWD=/Users/richardgray
JAVA_HOME=/Library/Java/JavaVirtualMachines/jdk1.7.0_25.jdk/Contents/Home
LANG=en_GB.UTF-8
XPC_FLAGS=0x0
XPC_SERVICE_NAME=0
SHLVL=1
HOME=/Users/richardgray
PYTHONPATH=/opt/spark/python/lib/py4j-0.9-src.zip:/opt/spark/python/:
LOGNAME=richardgray
_=/usr/bin/env

我有什么遗失的吗？提前谢谢。

Answer 1

你写了那个

当我在spark目录中时，我可以通过使用来运行pyspark   命令：./bin/pyspark

您创建了export SPARK_HOME=/opt/spark

您能否确认spark directory确实是/opt/spark？

如果您从/Users/richardgray/opt/spark/bin执行spark，请设置：

export SPARK_HOME=/Users/richardgray/opt/spark

接下来是：

export PATH=$SPARK_HOME/bin:$PATH

注意：如果它解决了您的问题，您需要将这两个导出添加到您的登录脚本（例如.profile），以便自动设置路径

安装Apache Spark后，无法从Mac上的任何目录运行pyspark命令

1 个答案: