如何配置气流主节点

Question

我正在尝试修改现有的气流芹菜群集，以使调度程序成为不运行作业的专用主节点。 （当前，所有节点都充当工作程序；我想阻止调度程序成为工作程序。）

我该怎么做？

Answer 1

在我们的集群中，UI和调度程序位于同一节点上。这是我们的“主”节点。

启动这两个组件时，我们使用以下命令：

airflow scheduler
airflow webserver

在工作节点上，您以

开头

airflow worker

这使您的过程保持独立。

如果您需要其他帮助，请编辑答案并发布配置文件。

Answer 2

如果要使用this airflow distribution的docker swarm进行部署，则可以指定部署每种服务的节点类型。

因此您可以强制在管理器节点中部署调度程序：

scheduler:
    image: puckel/docker-airflow:1.10.1
    deploy:
        replicas: 1
        placement:
            constraints: [node.role==manager]

工人节点中的工人服务：

worker:
    image: puckel/docker-airflow:1.10.1
    deploy:
        replicas: 3
        placement:
            constraints: [node.role==worker]