气流开始日期未按计划运行

Question

我是这里的新手。我想安排气流在每天相同的时间（例如18：50hour）运行增量，而不会回填数据。

这是我在DAGS上设置的。但是它一直在回填并从2018年11月5日开始下载数据。如何将其更改为仅下载增量？

Java

Answer 1

在catchup_by_default=False文件中使用airflow.cfg或将catchup=False应用于您的dag。

示例如下：

default_args = {
    'owner': 'airflow',
    'depends_on_past': False,
    'start_date': datetime(2015, 12, 1),
    'email': ['airflow@example.com'],
    'email_on_failure': False,
    'email_on_retry': False,
    'retries': 1,
    'retry_delay': timedelta(minutes=5),
    'schedule_interval': '@hourly',
}

dag = DAG('tutorial', catchup=False, default_args=default_args)

文档链接：https://airflow.readthedocs.io/en/stable/scheduler.html#backfill-and-catchup