Question

通过pyspark全新安装pip install pyspark后，我收到以下错误：

> pyspark
Could not find valid SPARK_HOME while searching ['/Users', '/usr/local/bin']
/usr/local/bin/pyspark: line 24: /bin/load-spark-env.sh: No such file or directory
/usr/local/bin/pyspark: line 77: /bin/spark-submit: No such file or directory
/usr/local/bin/pyspark: line 77: exec: /bin/spark-submit: cannot execute: No such file or directory
> spark-shell
Could not find valid SPARK_HOME while searching ['/Users', '/usr/local/bin']
/usr/local/bin/spark-shell: line 57: /bin/spark-submit: No such file or directory

什么是有效的SPARK_HOME，如何设置它，为什么没有默认值有效？

我已经看过有关如何在手动安装spark之后手动设置环境变量的说明，但我想知道在使用pip安装pyspark后如何设置环境变量。

我已经通过brew install apache-spark仅安装了火花，并且从该安装中发出的spark-shell可以很好地开箱即用。之后安装pyspark后，我收到上面的消息。混乱。

Answer 1

> brew install apache-spark

实际上已经提供了一个有效的pyspark shell。没有必要另外

> pip install pyspark

实际上这会破坏我的安装。

Answer 2

如果您已经通过brew安装了apache-pyspark，则可以在命令下面运行。

brew link --overwrite apache-spark

pyspark：找不到有效的SPARK_HOME

2 个答案: