为 Apache 气流配置日志记录保留策略

Question

我在 Airflow 文档中找不到如何设置我需要的保留策略。 目前，我们将所有气流日志永久保存在我们的服务器上，这不是最好的方法。

我希望为我拥有的所有不同日志创建全局日志配置。

如何以及在哪里配置：

1. 保留天数
2. 最大文件大小

Answer 1

我昨天遇到了同样的情况，我的解决方案是使用一个 DAG 来处理所有日志清理并将其安排为任何其他 DAG。

查看此 repo，您将找到有关如何设置的分步指南。基本上，您将实现的是根据 airflow-home/log/ 上定义的给定时间段删除位于 airflow-home/log/scheduler 和 Variable 上的文件。 DAG 会根据您之前的定义为每个要删除的目录动态创建一个任务。

就我而言，我对原始 DAG 所做的唯一修改是通过替换 DIRECTORIES_TO_DELETE 的初始值，只允许删除 scheduler 文件夹。所有功劳都归功于创作者！开箱即用，而且易于定制。