使用`ipython`指定的调用pyspark会导致启动jupyter笔记本

时间:2018-07-21 16:05:57

标签: pyspark ipython

相对于ipython,我更喜欢使用REPL增强的python,因此,我在pyspark命令行中这样指定:

结果jupyter notebook推出了(令人惊讶):

 PYSPARK_DRIVER_PYTHON=ipython MASTER="local[*]" $SPARK_HOME/bin/pyspark

这种方法已经使用了好几年了-但是目前它正在启动jupyter notebook

如果还存在显式命令notebook,则该结果有意义:

结果jupyter notebook已启动(预期):

 PYSPARK_DRIVER_PYTHON=ipython notebook MASTER="local[*]" $SPARK_HOME/bin/pyspark

假设未指定notebook,则为什么启动笔记本而不是REPL

注意:通过

在命令行上单独使用ipython

结果ipython REPL已启动(预期):

    ipython

启动REPL (而不启动jupyter notebook)。

1 个答案:

答案 0 :(得分:1)

您可能已将PYSPARK_DRIVER_PYTHON_OPTS变量设置为“ notebook”。这将导致打开jupyter笔记本