如何使用芹菜气流

Question

我是气流和芹菜的新手，我现在已经完成了绘制dag，但我想在同一子网中的两台计算机上运行任务，我想知道如何修改airflow.cfg 。一些例子可能更好。感谢任何答案orz。

Answer 1

Airflow documentation很好地涵盖了这一点：

首先，你需要一个芹菜后端。这可以是例如Redis或RabbitMQ。然后，airflow.cfg中的executor参数应设置为CeleryExecutor。

然后，在airflow.cfg的celery部分中，将broker_url设置为指向您的芹菜后端（例如redis：// your_redis_host：your_redis_port / 1）。 将celery_result_backend指向sql数据库（您可以使用与主气流数据库相同的数据库）。

然后，在您的工作机器上，只需启动气流工作人员，您的工作就应该从这两台机器开始。