清理旧的Spark 1.2.0应用程序日志的最佳实践？

Question

我正在运行Spark 1.2.0。我注意到我在/var/lib/spark/work下面有一堆旧的应用程序日志似乎无法清理。什么是清洁这些的最佳做法？一个cronjob？看起来更新的Spark版本有一些清洁。

Answer 1

存在三个SPARK_WORKER_OPTS以支持工作者应用程序文件夹清理，此处复制以供spark doc进一步参考：

• spark.worker.cleanup.enabled，默认值为false，启用定期 清理工作者/应用程序目录。请注意，这只是 影响独立模式，因为YARN的工作方式不同。只有 已清除的应用程序目录已清理。
• spark.worker.cleanup.interval，默认为1800，即30分钟，控制工人清理旧的间隔（以秒为单位） 在本地机器上进行应用工作。
• spark.worker.cleanup.appDataTtl，默认为7 * 24 * 3600（7天），在每个目录上保留应用程序工作目录的秒数 工人。这是一个生存时间，应该取决于数量 你有可用的磁盘空间。应用程序日志和jar是 下载到每个应用程序工作目录。随着时间的推移，工作目标可以 快速填满磁盘空间，特别是如果你非常运行工作 频繁。