Question

我已经在一个DAG中添加了一个任务，并一直试图在尚不存在的日期airflow backfill进行任务。我给了命令--task_regex，--start_date和--end_date参数。一切似乎都运行良好，但在某些DAG运行回填后，Airflow因此错误而崩溃：

[2019-06-06 12:13:25,378] {jobs.py:2521} INFO - Task exited with return code 0
Traceback (most recent call last):
  File "/usr/local/bin/airflow", line 27, in <module>
    args.func(args)
  File "/usr/local/lib/python3.5/dist-packages/airflow/bin/cli.py", line 185, in backfill
    delay_on_limit_secs=args.delay_on_limit)
  File "/usr/local/lib/python3.5/dist-packages/airflow/models.py", line 3724, in run
    job.run()
  File "/usr/local/lib/python3.5/dist-packages/airflow/jobs.py", line 198, in run
    self._execute()
  File "/usr/local/lib/python3.5/dist-packages/airflow/jobs.py", line 2441, in _execute
    raise AirflowException(err)
airflow.exceptions.AirflowException: ---------------------------------------------------
Some task instances failed:
%s

有人知道会发生什么吗？我应该在后台启动此回填吗？（气流1.9）

Answer 1

这看起来类似于本期所描述的 https://issues.apache.org/jira/browse/AIRFLOW-1482?attachmentSortBy=dateTime 当他们使用芹菜执行器时。

使用localexecution时有类似的问题，如果当前调度的回填任务失败，则回填将停止。也正在运行气流1.9。

一些DAG运行后气流回填中断的可能原因

1 个答案: