我正在使用Airflow安排ETL。我有6-7个步骤的1个DAG。我有10多个这样的dag,并希望在它们之间创建依赖关系。我将每个DAG构造为一个SubDAG,然后触发整个父DAG,但是我在这里面临两个问题:-
为什么还要清除DAG的状态?它能解决什么目的?
我遵循了subdag最佳实践,例如与父级和每日计划间隔共享默认参数,但不了解如何预测和纠正此行为。执行日期总是晚于开始日期。
Dependencies Blocking Task From Getting Scheduled
Dagrun Running
Task instance's dagrun was not in the 'running' state but in the state 'failed'.
子日期按计划运行,但不手动运行。如果我手动触发整个父级dag,则一切正常。
我想在任意基础上触发subDAG。如果下游dag也运行也很好。另外,如果有其他方法可以阻止回填行为,那也将是一件好事! 如果您认为这不是构造etls的最佳方法,请建议我如何在ETL之间创建依赖关系,如果出现故障也可以手动运行它们。