气流任务在所有节点上运行

Question

我有使用芹菜和redis的气流群。我有一项任务，我想在所有工人身上运行。我怎么能这样做？

原因：我们根据工人负荷增加和减少气流工人。我必须在所有节点上运行一个任务。

感谢您的帮助。

Answer 1

听起来你正试图监控Airflow集群中的工作节点，如果工作负载高，会增加工作节点/执行程序吗？这是你想要做的吗？

如果是这样，我认为这类工作应该由Jenkins + Ansible等其他工具管理。

如果没有，请忽略此信息或更新您的问题以获取更多信息。