气流回填未完全填满现在

时间:2017-10-05 14:22:07

标签: python-2.7 airflow apache-airflow airflow-scheduler

我正在努力解决一个我似乎无法弄清楚的奇怪问题。我有一个基本的DAG,没有任何想象力。它只是利用bash运算符来启动Python脚本。

我有这个DAG计划在每个星期一运行。当我打开网络服务器中的dag时,它开始回填到9月25日。但是,它没有回填到10月2日。当我将计划从每周更改为每日时,它工作正常。

这是我的DAG设置。

default_args = {
    'owner': 'xxxxx',
    'depends_on_past': False,
    'email': ['xxxxxx'],
    'start_date': datetime(2017, 9, 1, 0, 0),
    'email_on_failure': False,
    'email_on_retry': False,
    'retries': 2,
    'retry_delay': timedelta(minutes=10),
}


# Create DAG
dag = DAG(dag_id='IFS_weekly_forecast',
            schedule_interval = '0 8 * * MON',
          default_args=default_args)

正如你从这张照片中看到的那样,回填可以在25日之前完成。之后,没有排队的新任务。

DAG runs

我在这里做错了什么?我有其他DAG已运行数周。我也重新启动了调度程序和Web服务器,这没有用。

编辑:

下面的主题似乎涵盖了同样的问题。但是,这改变了我的问题。如何让气流在给定日期每周运行一次,而不是等待整个时间段完成?

Airflow does not backfill latest run

0 个答案:

没有答案