我正在Celery群集中运行Airflow,在将已清除的任务标记为成功之后,我无法让已清除的任务运行。
假设我处于以下状态:
出于某种原因,我想将所有内容重新运行到dummy_task_2。我在任务上执行了 clear上游,然后清除了所有内容:
在这种状态下,调度程序将不调度任务1和6以便执行,除非,我还要清除任务5或4:
基本上,如果所有“最终”任务都已标记为成功,则调度程序似乎根本就不在乎dag中的任务。如果我清除了那些,那么它会返回并拾取所有已清除的任务。
我已经用谷歌搜索了它,这似乎不是预期的行为。我已经检查了调度程序日志,没有什么异常,它只是报告没有要发送给执行者的任务,直到我清除了dag中的最后一个任务。
这是一个错误吗?我是否可以查看任何日志以查看发生了什么?我什至尝试将元数据数据库中dag的状态从“成功”更改为“正在运行”,但是调度程序只是立即将其恢复为“成功”。