ipython不被识别为内部或外部命令（pyspark）

Question

我安装了火花释放：spark-2.2.0-bin-hadoop2.7。

我正在使用Windows 10操作系统

我的java版1.8.0_144

我已经设置了我的环境变量：

SPARK_HOME D:\spark-2.2.0-bin-hadoop2.7

HADOOP_HOME D:\Hadoop ( where I put bin\winutils.exe )

PYSPARK_DRIVER_PYTHON ipython

PYSPARK_DRIVER_PYTHON_OPTS notebook

路径为D:\spark-2.2.0-bin-hadoop2.7\bin

当我从命令行启动pyspark时出现此错误：

ipython is not recognized as an internal or external command

我还尝试在PYSPARK_DRIVER_PYTHON中设置jupyter，但是它给了我同样的错误（不被识别为内部或外部命令）。

请帮忙吗？

Answer 1

在您的机器中搜索ipython应用程序，在我的情况下，它位于“c：\ Anaconda3 \ Scripts”中。然后只需将该路径添加到PATH环境变量

Answer 2

在 Windows 10 上，我通过在 Anaconda - Windows Powershell 中手动添加路径来解决：

$env:Path += ";path\to\spark\bin"

其他命令，例如“setx”或其他命令对我不起作用。

编辑：每次我启动 Anaconda 提示时，我都需要再次运行上面的命令。一旦我设法使这个解决方案“确定”，我就会编辑我的答案。 最后，我还需要将 Path 添加到 scala 以使其与 Jupyter Notebook 一起使用，如下所示：

$env:Path += ";C:\Program Files (x86)\scala\bin"

Answer 3

在装有Anaconda的Windows 10上，请使用Anaconda提示符，而不是Windows cmd并使用以下命令启动jupyter Notebook

  pyspark --master local[2]

请确保完成上述所有配置。