问题:airflow webserver
为什么还启动工人?
我一直在研究如何构建Airflow服务,因为我需要构建一些环境(最后一个操作)。我发现一个很棒的博客说,可以根据我的需要开始不同的角色,例如:
$ airflow webserver
$ airflow scheduler
$ airflow worker
但是后来我意识到airflow webserver
也启动了工作进程,并且我还在配置文件中找到了以下参数:
# Number of workers to run the Gunicorn web server
workers = 4
我的猜测是这4个工作人员仅用于运行Web服务器,而不用于运行任务。正确吗?
非常感谢您。
答案 0 :(得分:2)
正确的,该设置适用于Web服务器的Web Worker。 Gunicorn是HTTP服务器。网络服务器将永远不会实际运行任务。它总是通过运行airflow worker
的进程(或者,如果您使用的是LocalExecutor,则调度程序将运行它们)