清除日志后,Dag处于运行状态,但任务未安排/执行

时间:2020-07-07 08:16:29

标签: airflow airflow-scheduler airflow-worker

我使用Celery Executor在Kubernetes集群中运行了气流(v1.10.4)。我们正在使用RDS Postgres作为外部元数据数据库。

问题陈述:所有dag都已按计划排期并按时运行,但是当我们清除任何日志(旧运行)以重新运行管道时,就会发生问题。Airflow使此Dag处于运行状态,但没有任何任务得到执行。我们还看到,当我们将这些已清除的日志重新标记为成功时,Airflow安排了下一次运行,但是没有一个任务被执行(这些任务都没有进入队列或运行状态)。

有问题的dag具有depends_on_past = True和catchup = True。

谁能知道这里出了什么问题吗?

see this screenshot

0 个答案:

没有答案