气流集群：是否需要在所有工作人员中部署DAG /工作流？

Question

我们计划更新Airflow，并从单个Airflow服务器切换到Airflow 集群（AWS）。

我们一直在咀嚼article和this one。

我们正在将SQS用作队列服务，尽管文档说我们只需要在主数据库中部署DAG py文件，我们仍想知道这是否正确。

1. 队列中的通讯不包含代码
2. 在我们的测试中，如果未将它们部署在所有节点，工作人员和主节点中，则DAG不能正常工作。

那么，我们应该怎么做？

非常感谢！

Answer 1

您的DAGS需要在所有工作程序之间同步，以使其正常工作，因为airflow_scheduler将把DAG发送给任何可用的工作程序。如果未在所有工作程序之间同步DAGS，则可能会运行DAG的较旧副本。