气流使工人忙于执行任务,而忽略其他任务

时间:2019-06-10 20:56:59

标签: python-3.x airflow

我的Airflow设置当前包括-Airflow 1.10.1 + MySQL后端+ Celery + RabbitMQ

物理设置-计划程序+ Web服务器+ Worker1 + Worker2

我的问题是,如果假设有10个任务需要由Airflow Scheduler在2个工作程序上执行,AIrflow会将大部分任务淹没Worker1,而忽略Worker2。

示例:Worker1获得8个任务,而Worker2获得2个任务

这会导致Worker1中出现内存错误,因为某些任务会占用大量资源。

我尝试将Worker并发设置为8,但仍然将Worker1设置为优先级

机器1:

气流调度器 气流Web服务器 气流工人(工人2)

机器2:

气流工人(工人1)

截至目前,工作人员1忙于处理大量任务,而工作人员2几乎是理想选择。

我可以为这两个工作人员(负载均衡)赋予同等优先级,以便利用所有资源吗?

0 个答案:

没有答案