Airflow中类似Cron的调度

时间:2018-12-17 08:39:53

标签: airflow

数据每个星期一早上通过FTP服务器发布。每个星期目录都有一个名为data_YYYYMMDD.zip的新存档。

我的DAG有schedule_interval = '0 8 * * 1'。 Python运算符从ds变量派生文件名并下载文件。然后,文件名通过XCom传递给后续的运算符(并行4个)。

下周收到本周数据的问题。我知道Airflow会在开始日期后的那个周期结束后的一个schedule_interval来运行我的工作。

我的解决方法是使用next_execution_date变量而不是ds变量。

在“气流”中,有没有办法消除一个星期(一个时间表)的延迟?

1 个答案:

答案 0 :(得分:0)

您可以尝试使用airflow.macros.ds_add函数为默认的 ds 日期宏添加/减去天数。

EXEC_DATE = '{{ macros.ds_add(ds, 7) }}'