无法在mac os中打开pyspark

Question

我已经通过pip安装了pyspark但无法打开它。它显示以下错误。

  

用户/ sonveer.narwaria / anaconda / bin / pyspark：第24行：   /Users/sonveer.narwaria/anaconda/lib/python3.6/site-packages/pyspark/bin/load-spark-env.sh：   没有相应的文件和目录   /Users/sonveer.narwaria/anaconda/bin/pyspark：第77行：   /Users/sonveer.narwaria//Users/sonveer.narwaria/anaconda/lib/python3.6/site-packages/pyspark/bin/spark-submit：   没有相应的文件和目录   /Users/sonveer.narwaria/anaconda/bin/pyspark:line 77：exec：   /Users/sonveer.narwaria//Users/sonveer.narwaria/anaconda/lib/python3.6/site-packages/pyspark/bin/spark-submit：   无法执行：没有这样的文件或目录

Answer 1

您应该按照here所述下载完整的Spark发行版。 PySpark的PyPi安装（即通过pip，就像你所做的那样）仅适用于连接已经存在的Spark集群;来自docs：

  

Spark的Python包装并不是要替换所有其他用例。这个Python打包版本的Spark适合与现有集群（无论是Spark独立，YARN还是Mesos）进行交互 - 但不包含设置自己的独立Spark集群所需的工具。您可以从Apache Spark下载页面下载完整版本的Spark。

     

注意：如果您在Spark独立群集中使用此功能，则必须使用此功能   确保版本（包括次要版本）匹配或您可以   遇到奇怪的错误