spark（清理工作节点中的app文件夹）

Question

我需要在工作文件夹下的spark中清理app文件夹（包括应用程序下载的jar）。 我试图在spark env中设置下面的配置。但它不起作用。

SPARK_WORKER_OPTS =＆＃34; -Dspark.worker.cleanup.enabled = true -Dspark.worker.cleanup.interval = 10 -Dspark.worker.cleanup.appDataTtl = 10＆＃34;

是否有任何解决方案来清理文件夹。 清理文件夹的确切配置是什么。 是否应该在spark.defaults.conf / spark env中给出。 提前致谢 anitha。

Answer 1

您也可以尝试设置此属性：spark.worker.cleanup.appDataTtl

但在我的情况下，我只使用自定义bash脚本来清理工作目录。