无法在Windows 10中运行pyspark

Question

我是使用apache spark的新手。

我尝试安装但在使用Windows 10中的命令提示符启动pyspark时遇到问题。

安装并设置所有环境变量后，我设法显示Spark版本2.2.1，Anaconda版本4.4.10和Python版本3.6.3

这些是我设置的环境变量：

1）HADOOP_HOME = C:\spark\hadoop

2）JAVA_HOME = C:\Program Files\Java\jdk1.8.0_151

3）SPARK_HOME = C:\spark\spark\bin

4）PYSPARK_PYTHON = C:\Users\niezaellya\Miniconda3\python.exe

Answer 1

您需要在由C:\spark\spark\bin分隔的Path变量中添加;

然后重新加载环境变量后，您可以在 python shell 的命令行中输入pyspark，为 scala shell输入spark-shell

并且您的SPARK_HOME不应该包含bin应该是

SPARK_HOME = C:\spark\spark