如何确保在任何给定时间，只有1个操作员实例（用于多个dag）在Airflow中运行？

Question

我在taskid "XYZ"中使用了一个运算符（subdag运算符，带有DAG A），并且在{中我还有另一个subdag运算符具有相同的taskid（即"XYZ"） {1}}。在这种情况下，如何确保在任何给定时间都运行不超过1个DAG B实例。 "XYZ"和DAG A可以并行运行。

Answer 1

诀窍是创建一个具有1个工作槽的池，并将该池分配给不能同时运行的任务ID。在这种情况下，我只有一个任务ID（操作员）XYZ，在这里我必须确保它的任务实例不会同时运行。

不确定这是否是惯用的方法，但是对我有用！