阻止调度程序启动重叠任务

Question

airflow.cfg：

# airflow version = 1.10.1
executor = LocalExecutor
parallelism = 32
dag_concurrency = 16

还有一个dag.py：

with DAG('mydag', schedule_interval="@hourly") as dag:
    # define tasks

但是有时候我的任务完成时间比我的schedule_interval要长，并且气流会在完成前一个任务之前安排下一个任务。

这导致各种恶劣的比赛条件。

有没有一种方法可以显式地防止计划重叠的任务？即使那意味着完全跳过运行？

Answer 1

• 我认为您正在寻找的是depends_on_past和wait_for_downstream params of BaseOperator
• 还可以结帐this方便的说明

---

EDIT-1

已根据comment by @Chengzhi

更新

虽然以上可能会解决您的问题，但如果您希望完全跳过重叠的DagRun，请使用

• max_active_runs_per_dag：所有dag的全局设置
• max_active_runs：可进行度级覆盖的设置