标签: apache-spark
一个spark作业,如果有人忘记写spark.stop(),则spark是此处的SparkSession。 该作业已执行了很多次,我们不确定是否有很多资源被泄漏。我们担心该资源将被用完。
spark.stop()
那么当我们忘记停止会话并且Job尚未运行时,如何回收使用的所有资源火花?
我们应该重新启动群集中的所有计算机吗?还是重启一些机器?还是运行命令?还是因为火花作业已结束而没有问题?