无法手动触发一系列子暂存

时间:2019-08-25 09:27:14

标签: python database etl airflow

我正在使用Airflow安排ETL。我有6-7个步骤的1个DAG。我有10多个这样的dag,并希望在它们之间创建依赖关系。我将每个DAG构造为一个SubDAG,然后触发整个父DAG,但是我在这里面临两个问题:-

  1. 我无法手动触发特定的SubDAG。它只是保持运行状态,没有任何任务被触发。
  2. 当我清除SubDAG的状态时,它开始工作,但触发了先前的执行,最令人惊讶的是,它作为我不希望的回填工作而开始。当DAG按计划正常启动时,也会发生这种情况。

为什么还要清除DAG的状态?它能解决什么目的?

我遵循了subdag最佳实践,例如与父级和每日计划间隔共享默认参数,但不了解如何预测和纠正此行为。执行日期总是晚于开始日期。


Dependencies Blocking Task From Getting Scheduled

Dagrun Running

Task instance's dagrun was not in the 'running' state but in the state 'failed'.

子日期按计划运行,但不手动运行。如果我手动触发整个父级dag,则一切正常。

我想在任意基础上触发subDAG。如果下游dag也运行也很好。另外,如果有其他方法可以阻止回填行为,那也将是一件好事! 如果您认为这不是构造etls的最佳方法,请建议我如何在ETL之间创建依赖关系,如果出现故障也可以手动运行它们。

0 个答案:

没有答案