使用Spark 2启动Ipython

Question

我的ipthon启动脚本如下

IPYTHON_OPTS="notebook --port 8889 \
--notebook-dir='/usr/hdp/2.3.2.0-2950/spark/' \
--ip='*' --no-browser" pyspark

它适用于较旧的Spark。但是当我切换到Spark2时，我收到以下错误：

在Spark 2.0+中删除了IPYTHON和IPYTHON_OPTS。从环境中删除它们并改为设置PYSPARK_DRIVER_PYTHON和PYSPARK_DRIVER_PYTHON_OPTS。

目前尚不清楚我应该用什么命令替换它。有人可以帮忙吗？

Answer 1

对于Spark＆lt; 2.0使用IPython启动pyspark的命令是：

IPYTHON=1 pyspark

Spark＆gt; = 2.0的等效更新命令是：

PYSPARK_DRIVER_PYTHON=ipython pyspark

根据Spark's source code。