我有一个4个节点的集群,它已经安装了Spark,我使用Pyspark或spark-shell来启动spark并开始编程。
我知道如何使用Zepplin,但我想使用jupyter作为Programation接口(IDE),因为它更有用。
我读到我应该将这个2变量导出到我的.bashrc中以使其工作:
export PYSPARK_DRIVER_PYTHON="jupyter"
export PYSPARK_DRIVER_PYTHON_OPTS="notebook"
如何将Pyspark与jupyter一起使用?