如何在Airflow DAG中多次运行单个任务?

时间:2018-02-03 00:37:14

标签: airflow

所以我有2条路径,步骤A和C检查更新并在数据库中进行一些转换,步骤E将查询卸载到工件文件。

A -> B -> 
         --> E
C -> D ->

现在我希望步骤E在以下时间运行: 1)完成步骤A和B. 要么 2)完成步骤C和D

我尝试使用trigger_rule' one_success'在步骤E中,但问题是如果步骤A在步骤C之前开始,则步骤E将仅运行一次并且C中的数据更改未被卸载到最终工件,缺少期望的SLA。

一旦任何父任务完成执行,Airflow是否有办法强制执行一个步骤,无论它是否已被执行?看起来这是一个非常合乎逻辑且常见的用例,但搜索文档并没有给我带来任何好处。

0 个答案:

没有答案