pyspark：系统找不到指定的路径

Question

我刚刚使用conda安装了pyspark 2.2.0（在Windows 7 64bit，java v1.8上使用python v3.6）

$conda install pyspark

它已下载并且似乎正确安装且没有错误。现在，当我在命令行上运行pyspark时，它只是告诉我“系统找不到指定的路径。”

$pyspark
The system cannot find the path specified.
The system cannot find the path specified.

我尝试在我的PATH环境变量中包含pyspark路径目录，但这似乎仍然没有用，但也许我给出了错误的路径？任何人都可以请指教。是否需要在PATH环境变量中指定Java路径？感谢

Answer 1

来自PyPi的PySpark（即与pip或conda一起安装）不包含完整的PySpark功能;它仅适用于现有集群中的Spark安装，在这种情况下，您可能需要avoid downloading the whole Spark distribution。来自docs：

  

Spark的Python包装并不是要替换所有其他用例。这个Python打包版本的Spark是合适的   用于与现有集群交互（无论是Spark独立，   YARN或Mesos） - 但不包含设置所需的工具   您自己的独立Spark群集。您可以下载完整版   来自Apache Spark downloads page的Spark。

如果你打算在PySpark shell中工作，我建议你按照上面的说法下载Spark（PySpark是它的一个重要组成部分）。

Answer 2

在我的情况下，问题是由双路径引起的。从环境中移除火花路径。

pip uninstall pyspark
pip install pyspark

Answer 3

export PYSPARK_PYTHON=python3.5

当我遇到PATH问题时，这对我有用。希望能帮助到你。 如果没有，请查看您的配置文件。

Answer 4

这似乎是Java路径问题。

我遇到了同样的问题，并且响应完全相同，并且未设置JAVA_HOME路径。

选中 this page ，然后查看Moustafa Mahmoud的回答。我只需要考虑建议1。（JAVA_HOME变量）。

也请参见 link 。