Question

我正在尝试按照此处的教程在自己的计算机上安装Spark。 Install Spark on Mac (PySpark)

我正在按照这里的步骤进行操作，但是看到一个错误。此错误如下：

fatih-Air:~ fatihcelik$ snotebook 
-bash: /Users/fatihcelik/pyspark-2.4.0/bin/pyspark: No such file or directory

我的Spark directory在这里：

/Users/fatihcelik/pyspark-2.4.0

我的.bash_profile文件如下：

#Settings path for Spark
export SPARK_PATH=~/pyspark-2.4.0
export PYSPARK_DRIVER_PYTHON="jupyter"
export PYSPARK_DRIVER_PYTHON_OPTS="notebook"
#For python 3, You have to add the line below or you will get an error
# export PYSPARK_PYTHON=python3
alias snotebook='$SPARK_PATH/bin/pyspark --master local[2]'

我的PySpark文件夹的内容：

fatih-Air:pyspark-2.4.0 fatihcelik$ ls 
MANIFEST.in     deps            pyspark.egg-info
PKG-INFO        lib             setup.cfg
README.md       pyspark         setup.py

您知道如何解决我的问题吗？谢谢。

注意：在编辑.bash_profile之后，我运行“ source .bash_profile”以应用更改。

Answer 1

这可能只是一个提取问题，您链接到的教程并没有提供很好的说明来确保您提取到正确的位置。在命令行中，

ls -ls ~/pyspark-*/

请确保您有一个bin目录，并且其中是pyspark可执行文件。

Answer 2

您的SPARK_PATH应该是这样的

EXPORT SPARK_PATH=~/spark-2.4.0

我在MacOS上安装Spark时遇到问题，该如何解决？

2 个答案: