如何在jupyter笔记本上集成pyspark

时间:2016-08-22 20:28:52

标签: python pyspark

我已按照说明将pyspark与jupyter集成,但在完成后我只能在命令提示符下运行pyspark。

基本上当我在我的命令中使用ipython它正在工作但是当我改为jupyter它说

'"Jupyter "' is not recognized as an internal or external command,
operable program or batch file.

请那些人我现在真的很累,请帮忙

注意:我按照this教程进行了整合。

直到现在我都遵循了这个命令:

  set PYSPARK_DRIVER_PYTHON=ipython 
  set PYSPARK_DRIVER_PYTHON_OPTS = notebook 
  pyspark 

它在cmd本身打开pyspark

1 个答案:

答案 0 :(得分:1)

Windows set命令不接受=符号前的空格。

解决这个问题:

set PYSPARK_DRIVER_PYTHON=ipython 
set PYSPARK_DRIVER_PYTHON_OPTS=notebook 
pyspark

系统想要运行"Jupyter %PYSPARK_DRIVER_PYTHON_OPTS%"可执行文件,而是尝试运行'“Jupyter”'

因此你得到了错误。