气流将任务从子依赖之外的下游依赖项或参考作业中排除

时间:2019-08-23 18:25:53

标签: triggers dependencies airflow

我目前正在尝试在气流中建立具有许多子依赖性的数据管道。我已经创建了subdags(和subsubdags)以实现所需的功能。但是,我不知道的一件事是我是否能够从子数据中引用下游任务。

我提供了一张数据管道的图片:Data pipeline

task e需要由task c触发,但没有下游依赖性。我找不到在子子目录中从更高级别引用任务的方法。有办法吗?

作为一种变通办法,目前,我刚刚将task e放在子任务中,任务为a,b,c和d。 task ftask atask btask c成功时应触发task d,但task e是否成功或是否成功都无关紧要。失败了是否可以将task f设置为具有触发器one_failed并指定接受故障的task_id

感谢您的帮助!谢谢!

0 个答案:

没有答案