PySpark，Win10-系统找不到指定的路径

Question

我以前将PySpark作为通过pip安装的Python软件包安装，我最近使用干净的Python版本将其卸载并下载了独立版本。

在我的用户变量中，我创建了一个路径，名称为：SPARK_HOME

值：C：\ spark-2.3.2-bin-hadoop2.7 \ bin

在路径I下的系统变量中输入：C：\ spark-2.3.2-bin-hadoop2.7 \ bin

When I run pyspark

我也无法运行spark-shell。有什么想法吗？

Answer 1

Window用户必须下载兼容的winutils exe版本，并将其保存在Spark的bin文件夹中。

找到兼容的Hadoop发行版，下载并将其保存在您的Spark文件夹中。

例如下载“ https://github.com/steveloughran/winutils/blob/master/hadoop-2.7.1/bin/winutils.exe”并将其保存在“ C：\ spark-2.3.2-bin-hadoop2.7 \ bin”中

在此链接中可以找到不同的Winutils版本。 https://github.com/steveloughran/winutils

Answer 2

SPARK_HOME 应该没有bin文件夹。因此，

将SPARK_HOME设置为C:\spark-2.3.2-bin-hadoop2.7\