标签： apache-spark
我的程序包含很多jar文件，这些文件被复制到应用程序的每个执行程序的工作目录中。这些目录位于$ SPARK_HOME / work。这些目录包含程序的库和日志（stdout和stderr）。请注意，这里我不是在谈论Spark的tmp目录，因为它们是另外一些东西。
由于这些目录可能很大，因此我想在程序完成后立即删除这些目录。显然，一种方法是自己编写一些脚本来执行此操作，但是有没有一种方法可以命令Spark为我执行此操作，即在程序完成后立即将其删除？