气流schedule_interval和活动dag运行

Question

定义用于处理训练数据的实例

dag = DAG(
    dag_id,
    start_date = datetime(2019, 11, 14),
    description = 'Reading training logs from the corresponding location',
    default_args = default_args,
    schedule_interval = timedelta(hours=1),
)

我有这样的代码。因此，我认为，此中断将每隔一小时执行一次。 但是在气流网络中，“计划”部分有很多运行日。这一天一直在执行。 特别是在“树状视图”部分中，我可以看到一个小时内所有块都被填满了！！！ 我对schedule_interval函数感到困惑。有关如何解决该问题的任何想法。

Answer 1

在 FIRST DAG运行中，它将从您在start_date上定义的日期开始。从那时起，调度程序将根据您的schedule_interval创建新的DagRun，并在满足您的依赖关系时运行相应的任务实例。 您可以详细了解here。

Answer 2

我知道，问题出在实际时间和start_date之间的时间设置不一致。如果start_date落后于实际时间，系统将回填过去的时间。