在Airflow界面中清除树视图

Question

我有一个外部触发的DAG，我每天都要运行数百次。我想避免在DAG树视图中无限期地累积任务元数据（参见下面的屏幕截图）。处理此问题的最佳方法是什么？登录元数据服务器并删除这些运行的条目？

Answer 1

开箱即用，Airflow的元数据数据库将无限期地保留DAG运行和任务实例元数据。

您可以手动删除这些表中的数据，甚至可以使用DAG自动修剪它。

您可能对teamclairvoyant/airflow-maintenance-dags repo感兴趣，后者专门针对此用例提供了db-cleanup DAG：

  

可以部署到Airflow中以定期清理DagRun，TaskInstance，Log，XCom，Job DB和SlaMiss条目的维护工作流，以避免Airflow MetaStore中存在过多数据。

此外，在Airflow网络应用程序中，您可以调整DAG树视图中的运行次数下拉列表，以显示更大/更小的时间窗口，如果您想要保留数据库中的数据但只是在数据库中看不到它目前用户界面。