我曾经使用 jupyter笔记本在pyspark独立模式下运行。
只需要设置：
PYSPARK_DRIVER_PYTHON_OPTS="notebook ..."
PYSPARK_DRIVER_PYTHON=ipython
运行
${SPARK_HOME}/bin/pyspark --master spark://ip:7077
我们非常希望使用Jupyter作为我们的生产解决方案，并认为 jupyter nbconvert 对于我们进行一些调度或每日批量工作是一个很好的命令。
目前，我们仍然找不到使用 jupyter nbconvert 来运行pyspark standalone的方法。希望有人可以提供这方面的经验。
非常感谢！