正确关闭PySpark笔记本

Question

我使用Jupyter笔记本和PySpark，它使用Spark作为内核。

问题在于我不确定如何正确关闭它并且我有一种印象是某些东西一直悬挂，因为运行笔记本的驱动程序上的内存已满并崩溃（我得到了GC开销）除外）。

我只是通过使用我保存到.pid文件的进程ID杀死笔记本来关闭整个事情。但我觉得以下状态值得注意：

实际问题是什么以及如何解决它，即如何正确关闭整个物体（在驱动器和纱线上）？

Answer 1

你应该使用“文件” - ＆gt; Jupyter内部“关闭并停止”。这将关闭火花环境并从会话中杀死纱线容器。