如果会话停止，Spark上下文会发生什么？

Question

如果我用spark停止了一个名为spark.stop()的现有Spark会话，它的上下文会怎样？它也会自动杀死吗？我问是因为我接管了上面写着的一些代码：

spark.stop()
sc.stop()

我想知道我是否需要第二个命令。

Answer 1

感谢How to check that the SparkContext has been stopped?，我找到了方法isStopped，并且可以运行

spark.stop()
spark.sparkContext.isStopped

它返回“ true”。因此，似乎停止会话也将停止上下文，即。例如，我第一篇文章中的第二条命令是多余的。

请注意，在Pyspark isStopped中似乎不起作用：“'SparkContext'对象没有属性'isStopped'”。我用Spark Scala进行了检查。