有没有办法在Spark中设置自动删除Checkpointed DataFrame?

时间:2019-06-19 18:54:50

标签: apache-spark

我在本地模式下运行Spark,并使用检查点,因为我有一些严重的内存限制。我经常运行此代码,并且需要经常手动清除我的检查点目录(检查点数据框非常大)。有没有办法设置它,以便在SparkSession关闭时自动清除检查点目录?

0 个答案:

没有答案