尽管我已经能够为reads(数据存储)和writes(bigquery)编写代码,但我对气流还很陌生。 我无法安排我的工作/任务。 我想每2个小时运行一次作业,从前2个小时从源中读取数据。 现在,如果任务失败,我想手动重试,但是要运行2个小时。我该如何完成? 我想到了几件事:
我应该考虑其他选择吗?或以上任何一个?
答案 0 :(得分:1)
我假设您在任务中使用当前日期时间(例如now()),对吗?
优良作法是在Airflow Context中使用execution_date
的值,而不是在操作员中调用datetime.now(),因为即使您重新安排计划作业的execution_date
也不会更改-执行DAG /任务。