终端中的Pyspark命令启动Jupyter笔记本

Question

我遇到了spark-submit的问题，抛出错误不是Jupyter命令，即pyspark启动web ui而不是pyspark shell

背景资料：

1. 安装Scala，Spark使用brew上的MAC
2. 安装了Conda Python 3.5
3. Spark命令适用于Jupyter Notebook
终端上的
4. 'pyspark'启动笔记本而不是shell

非常感谢任何帮助。

Answer 1

PYSPARK_DRIVER_PYTHON变量设置为自动启动ipython / jupyter（可能是预期的。）运行unset PYSPARK_DRIVER_PYTHON，然后再次尝试pyspark。

如果您希望这是默认设置，则可能需要修改配置文件脚本。