Question

在关闭连接后，按以下方式复制到spark的数据帧会发生什么情况？

class

如果没有自动删除它们，除了通过以下方式删除每个数据框之外，还有什么简便的方法可以删除在会话期间创建的所有数据框？

topic/title

即使自动完成了，还是在Spark认为有必要清理临时视图时立即还是懒惰地完成？

我有一个脚本，该脚本连续调用spark并将临时数据帧复制到spark以进行某些操作。我担心那些临时数据帧如果最后没有删除会堆积在群集中。

Answer 1

通常，Spark中的临时视图的生命周期与相应的SparkSession的生命周期紧密相关，并且无法在其作用域之外进行访问（全局视图是一个例外，但与标准视图相同，不能超过其会话的寿命）。如果JVM会话关闭和/或垃圾回收，则会刮擦相应的临时空间。

但是，否则不会删除临时视图，因此只要会话存在，临时表也将删除。

正如我在其他地方（How to delete a Spark DataFrame using sparklyr?）所解释的那样，这通常不是一个严重的问题。