Question

我正在尝试在Windows中安装Pyspark。

我将setx应用于以下内容：

PYSPARK_DRIVER_PYTHON "C:\Users\Sade D\Anaconda3\envs\xgboost\Scripts\jupyter.exe"
HADOOP_HOME "C:\spark\hadoop"
JAVA_HOME "C:\Program Files\Java\jdk1.8.0_172"
PYSPARK_DRIVER_PYTHON_OPTS "notebook"
PYSPARK_PYTHON "C:\Users\Sade D\Anaconda3\envs\xgboost\python.exe"
SCALA_HOME "C:\spark\scala"
SPARK_HOME "C:\spark\spark"
JAVA_HOME "C:\Program Files\Java\jdk1.8.0_172"

在路径中的系统变量中，我附加了以下内容：

C:\Program Files\Java\jdk1.8.0_172\bin
C:\spark\spark\bin
C:\spark\spark\python
C:\spark\spark\python\lib
C:\spark\spark\python\pyspark
C:\spark\spark\python\pyspark\sql
C:\spark\spark\python\pyspark\mllib
C:\spark\spark\python\pyspark\ml
C:\spark\spark\python\lib
C:\spark\scala\bin
C:\Program Files\Java\jdk1.8.0_172\bin\java.exe
C:\Program Files\Java\jdk1.8.0_172\bin

我遵循了tutorial。我正在运行Anaconda python 3.6，Apache Spark 2.3.2，Scala 2.12.7 msi和hadoop 2.7。

我在cmd行上验证了anaconda，python和java版本。这样可以确保将其正确链接到零件。在cmd提示符下运行pyspark时，此时出现意外错误\\ Anaconda3 \ envs \ xgboost \ python.exe，并且系统找不到指定的路径。为了验证路径列表，我将其复制到地址中，以确认它是否位于正确的文件夹中。在某些博客中，该解决方案建议在我已经完成的系统变量中添加其他路径，因此列出的路径比本教程中显示的要多。该错误如何纠正？

Answer 1

似乎文件夹名称中的空格有问题，尤其是C:\Users\Sade D中的空格，您似乎已经安装了Anaconda。

尝试卸载Anaconda，然后将其重新安装在没有空格的文件夹中。视频使用C:\ProgramData\Anaconda3（您可以在5:34看到它）：尝试安装到该文件夹中，而不要安装到C:\Users\Sade D。

Pyspark：\ Anaconda3 \ envs \ xgboost \ python.exe]在此时是意外的

1 个答案: