数据每个星期一早上通过FTP服务器发布。每个星期目录都有一个名为data_YYYYMMDD.zip
的新存档。
我的DAG有schedule_interval = '0 8 * * 1'
。 Python运算符从ds
变量派生文件名并下载文件。然后,文件名通过XCom传递给后续的运算符(并行4个)。
下周收到本周数据的问题。我知道Airflow会在开始日期后的那个周期结束后的一个schedule_interval来运行我的工作。
我的解决方法是使用next_execution_date
变量而不是ds
变量。
在“气流”中,有没有办法消除一个星期(一个时间表)的延迟?
答案 0 :(得分:0)
您可以尝试使用airflow.macros.ds_add函数为默认的 ds 日期宏添加/减去天数。
EXEC_DATE = '{{ macros.ds_add(ds, 7) }}'