我正在尝试在AWS弹性beantalk上设置气流。 Web服务器,调度程序和工作器的单独环境。因此,它们每个都可以独立缩放。
问题:
1. How do we know the health of all the applications ( webserver, scheduler, and workers)?
2. Is there any better way to deploy airflow in prod env?
在AWS弹性beantalk上进行部署的动机:如果任何一台服务器宕机,AWS将管理该服务器并启动一台或多台新服务器。
当前,我在一台ec2机器上运行Web服务器,调度程序和工作程序。我正在按以下方式运行所有这些:气流Web服务器,气流调度程序,气流工作人员。我遇到了“ / health”(https://airflow.apache.org/howto/check-health.html)。但是它具有对调度程序和元数据库的运行状况检查。但是,即使调度程序正在运行,此端点对于调度程序仍显示不正常。