相对于ipython
,我更喜欢使用REPL
增强的python
,因此,我在pyspark
命令行中这样指定:
结果:jupyter notebook
推出了(令人惊讶):
PYSPARK_DRIVER_PYTHON=ipython MASTER="local[*]" $SPARK_HOME/bin/pyspark
这种方法已经使用了好几年了-但是目前它正在启动jupyter notebook
。
如果还存在显式命令notebook
,则该结果有意义:
结果:jupyter notebook
已启动(预期):
PYSPARK_DRIVER_PYTHON=ipython notebook MASTER="local[*]" $SPARK_HOME/bin/pyspark
假设未指定notebook
,则为什么启动笔记本而不是REPL
?
注意:通过
在命令行上单独使用ipython
时
结果:ipython REPL
已启动(预期):
ipython
启动REPL
(而不启动jupyter notebook
)。
答案 0 :(得分:1)
您可能已将PYSPARK_DRIVER_PYTHON_OPTS
变量设置为“ notebook”。这将导致打开jupyter笔记本