如何使用Azure Databricks中的命令清除一个笔记本的状态而不影响其他笔记本？

Question

我在同一集群上并行运行3个笔记本管道，我想知道是否有任何方法可以清除一个笔记本的所有scala变量和spark DF，而不影响其他笔记本？我尝试了spark.close（），但它清除了其他两个笔记本的状态。我知道拆卸笔记本会清除状态，但是如何使用命令来做到这一点？我还想知道是否有任何方法可以调用gc并清除垃圾。

谢谢。

Answer 1

您需要在包装类型的对象中定义代码，这样，如果出现任何问题，您可以重新声明该对象。