气流 - 是否可以使用回填命令一次运行一天(按顺序)?

时间:2017-06-01 10:40:51

标签: airflow apache-airflow airflow-scheduler

基本上,我想运行回填命令整整一个月。但是有些任务依赖于前一天的数据。据我所知,这个命令每天都在同一时间运行。

airflow backfill adsquare_events -s 2017-01-01 -e 2017-01-31

有没有办法让回填命令一次运行一天(按顺序)?

干杯。

1 个答案:

答案 0 :(得分:3)

您好应该在默认args

上将参数depends_on_past设置为True
default_args = {
    'owner': 'whatever',
    'depends_on_past': True,
    'start_date': datetime(2017, 9, 17),
    'email': ['xxxxx'],
    'email_on_failure': True,
    'email_on_retry': True,
    'retries': 1,
    'retry_delay': timedelta(minutes=10),
}