我的Airflow设置当前包括-Airflow 1.10.1 + MySQL后端+ Celery + RabbitMQ
物理设置-计划程序+ Web服务器+ Worker1 + Worker2
我的问题是,如果假设有10个任务需要由Airflow Scheduler在2个工作程序上执行,AIrflow会将大部分任务淹没Worker1,而忽略Worker2。
示例:Worker1获得8个任务,而Worker2获得2个任务
这会导致Worker1中出现内存错误,因为某些任务会占用大量资源。
我尝试将Worker并发设置为8,但仍然将Worker1设置为优先级
机器1:
气流调度器 气流Web服务器 气流工人(工人2)
机器2:
气流工人(工人1)
截至目前,工作人员1忙于处理大量任务,而工作人员2几乎是理想选择。
我可以为这两个工作人员(负载均衡)赋予同等优先级,以便利用所有资源吗?