气流不符合泳池大小吗?

时间:2019-06-09 01:09:46

标签: airflow pool

与LocalExecutor一起使用气流回填功能,池可用插槽似乎被忽略了。例如下面。我知道这是几年前提出的,但这仍然是一个问题吗?

Pool    Slots   Used Slots  Queued Slots
    workerpool0 3   0   0
    workerpool2 3   12  0

尝试重新启动Web服务器,调度程序。

在BashOperator中定义池。

 BashOperator(
        task_id='sleep.%d'%i,
        bash_command='sleep %d'%(i+5),
        retries=3,
        pool='workerpool2',
        dag=dag)

我希望池的大小为3,但实际上它如上所述分配了12个作业?

1 个答案:

答案 0 :(得分:1)

根据documentation

如果在一个调度器中有多个调度程序,则池不是线程安全的 在localExecutor模式下,即使即使 池已满。