Apache Airflow池:已用插槽>可用插槽

时间:2018-11-07 16:04:59

标签: airflow

我有6个子类别。他们每个人都包含一个任务pool='crawler',该任务需要大量资源,因此我创建了一个只有1个插槽的池crawler

当我运行DAG时,似乎绕过了池限制,并且同时执行了所有六个任务(如屏幕截图所示)。

如何强制将已使用的插槽设置为<=个可用插槽?

airflow pools

1 个答案:

答案 0 :(得分:2)

来自source code

  

SubDagOperator不支持气流池。因此资源可以   由SubdagOperators消费