pyspark：如何释放资源

Question

我在IPython Notebook

中执行此代码

DECIMAL (9,3)

我执行函数some（）结束后执行Spark以释放资源（执行程序和驱动程序应该退出）。然而，它并没有发生。应用程序仅在我关闭笔记本时终止。

有人能给我一些如何从我的脚本中终止pyspark应用程序的线索吗？

Answer 1

Python是垃圾收集的，无论如何你都不应该担心资源 - 内存。

但你可以随时使用sc.stop()，这对其他几种情况也很方便。