通过Apache Airflow中的性能来平衡任务分配

Question

我想根据每个工作人员的健康状况和当前工作量，将工作分配给我在Apache Airflow中的工作人员。我追求的是与HAProxy leastconn类似的东西。

工人是否可以报告他们的负荷/健康状况并相应地分配任务？我对Dask或Celery很好，但是对Celery最熟悉

Answer 1

如果您使用Dask，它将自动执行此操作。 Dask调度程序负责负载平衡和节点故障转移。我希望Celery会做同样的事情，尽管我在那里不太熟悉。