是否可以在Airflow中执行更快的回填？

Question

我对此进行了很多搜索，但找不到任何实质性信息。我的问题是我有一个DAG，应该从2017年3月开始回填数据。

因此，我将开始日期设为：“ 01-03-2017”。我还提供了schedule_interval作为每日。现在，我知道我的DAG将从2017年3月开始按给定时间表运行。但是，如果我的父亲每天都按照时间表进行工作，则需要超过2年的时间才能达到当前日期

我不能等待2年才能获得过去的数据。我希望我的DAG尽快完成回填，以便DAG能够捕获当前时间并开始每天进行计划。我该如何实现？我可以提供数量最多的max_active_runs来同时安排多个DAGRun吗？

Answer 1

在回填的情况下，您的DAG不会仅按照计划运行。它会执行过去的日常任务，但是它们将并发运行，直到完成所有回填任务为止。这些运行中的每一个的执行日期都将是过去的日期。到达当前日期后，它将按照计划继续进行。