如何停止SparkContext

Question

如何停止当前运行的任何spark上下文。

信息 API：Scala Spark版本：Spark 2.3

实际上，我已经创建了火花上下文。为了阻止他们，我应该输入instance.stop（），但不记得spark上下文的实例名称。那么如何停止运行spark上下文呢？

还是有什么方法可以重置我在spark-shell中所做的一切并从头开始？

Answer 1

这并不能真正回答您的问题，但将来可能有助于防止此问题。

您可以（应该？）使用atexit模块来确保在退出python时自动调用您的spark上下文的.stop()。

import atexit

#spark configuration code here
sc = SparkContext(conf = conf)

atexit.register(lambda: sc.stop())