如果我用pip

Question

我使用pip安装了pyspark 2.2.0，但是我没有看到名为spark-env.sh的文件和conf目录。我想在此文件中定义SPARK_WORKER_CORES之类的变量。我该怎么办？

我正在使用Mac OSX El Capitan，python 2.7。

Answer 1

来自PyPi的PySpark（即与pip或conda一起安装）不包含完整的PySpark功能;它仅适用于现有集群中的Spark安装，在这种情况下，您可能需要avoid downloading the whole Spark distribution。来自docs：

  

Spark的Python包装并不是要取代所有的   其他用例。这个Python打包版本的Spark适合   与现有集群交互（无论是Spark独立，YARN还是   Mesos） - 但不包含设置自己的工具   独立的Spark集群。您可以下载完整版Spark   来自Apache Spark downloads page。

所以，你应该做的是如上所述下载Spark（PySpark是它的一个重要组成部分）。