在气流主节点上运行特定任务

Question

我有一个dag，其中列出了在不同工作节点上使用celery执行程序运行的任务。但是，我想在主节点上运行其中一个任务。那可能吗？

Answer 1

是的，这是可能的。您可以设置特定任务以收听特定queues in Celery。气流文档很好地涵盖了它，但它的要点是：

1. 在运算符上设置一个队列属性，表示您要在特定节点上运行的任务的值不同于celery -> default_queue

中的airflow.cfg值

2. 通过在airflow worker -q queue_name上指定需要侦听的队列，在主节点上运行辅助进程。如果您希望您的工作人员收听多个队列，您可以使用逗号分隔列表airflow worker -q default_queue,queue_name