气流网络服务器也开始工作

时间:2018-08-09 04:19:55

标签: airflow

问题:airflow webserver为什么还启动工人?

我一直在研究如何构建Airflow服务,因为我需要构建一些环境(最后一个操作)。我发现一个很棒的博客说,可以根据我的需要开始不同的角色,例如:

$ airflow webserver
$ airflow scheduler
$ airflow worker

但是后来我意识到airflow webserver也启动了工作进程,并且我还在配置文件中找到了以下参数:

# Number of workers to run the Gunicorn web server
workers = 4

我的猜测是这4个工作人员仅用于运行Web服务器,而不用于运行任务。正确吗?

非常感谢您。

1 个答案:

答案 0 :(得分:2)

正确的,该设置适用于Web服务器的Web Worker。 Gunicorn是HTTP服务器。网络服务器将永远不会实际运行任务。它总是通过运行airflow worker的进程(或者,如果您使用的是LocalExecutor,则调度程序将运行它们)