为什么我的Spark完成的应用程序仍在使用我的工作人员的磁盘空间？

Question

我的Datastax Spark已完成的应用程序正在使用我的工作人员的磁盘空间。因此我的火花无法运行，因为它没有任何磁盘空间。 这是我的spark worker目录。这些蓝色衬里的应用程序总共需要92GB，但它们应该不再存在，因为它们已经完成了应用程序感谢您的帮助，不知道问题出在哪里。

这是我的火花前沿用户界面：

Answer 1

Spark不会自动清理转移到工作节点的jar。如果您希望它这样做，并且您正在运行 Spark Standalone （YARN有点不同且无法正常工作），您可以将spark.worker.cleanup.enabled设置为true，并设置通过spark.worker.cleanup.interval清理间隔。这将允许Spark清理工作中保留的数据。您还可以为所有应用程序目录配置默认TTL。

来自spark.worker.cleanup.enabled的文档：

  

启用定期清理worker / application目录。注意   这只会影响独立模式，因为YARN的工作方式不同。只有   已清除的应用程序目录已清理。

有关详情，请参阅Spark Configuration。