气流无法完全完成收集中已清除的任务

时间:2018-08-01 16:46:20

标签: python celery airflow

我正在Celery群集中运行Airflow,在将已清除的任务标记为成功之后,我无法让已清除的任务运行。

假设我处于以下状态:

Successful dag run

出于某种原因,我想将所有内容重新运行到dummy_task_2。我在任务上执行了 clear上游,然后清除了所有内容:

dag run with cleared tasks

在这种状态下,调度程序将调度任务1和6以便执行,除非,我还要清除任务5或4:

enter image description here

基本上,如果所有“最终”任务都已标记为成功,则调度程序似乎根本就不在乎dag中的任务。如果我清除了那些,那么它会返回并拾取所有已清除的任务。

我已经用谷歌搜索了它,这似乎不是预期的行为。我已经检查了调度程序日志,没有什么异常,它只是报告没有要发送给执行者的任务,直到我清除了dag中的最后一个任务。

这是一个错误吗?我是否可以查看任何日志以查看发生了什么?我什至尝试将元数据数据库中dag的状态从“成功”更改为“正在运行”,但是调度程序只是立即将其恢复为“成功”。

0 个答案:

没有答案