如何在Jupyter Notebook中执行每个pyspark作业后释放分配的内存/ CPU？

Question

我在Jupyter Notebook中使用pyspark。 在Hadoop群集上运行作业时，Jupyter Notebook在完成作业后不会释放分配的内存和CPU使用率。使用群集中的所有可用资源并保留它们，直到我终止会话为止。