我目前正在尝试在气流中建立具有许多子依赖性的数据管道。我已经创建了subdags(和subsubdags)以实现所需的功能。但是,我不知道的一件事是我是否能够从子数据中引用下游任务。
我提供了一张数据管道的图片:Data pipeline
task e
需要由task c
触发,但没有下游依赖性。我找不到在子子目录中从更高级别引用任务的方法。有办法吗?
作为一种变通办法,目前,我刚刚将task e
放在子任务中,任务为a,b,c和d。 task f
,task a
,task b
和task c
成功时应触发task d
,但task e
是否成功或是否成功都无关紧要。失败了是否可以将task f
设置为具有触发器one_failed
并指定接受故障的task_id
?
感谢您的帮助!谢谢!