调度程序不排队作业

Question

我正试图在Kubernetes上测试Airflow。 Scheduler，Worker，Queue和Webserver都在不同的部署中，我使用Celery Executor来运行我的任务。

除了Scheduler无法排队作业这一事实外，一切正常。当我从Web UI或CLI手动执行时，Airflow能够正常运行我的任务，但我正在尝试测试调度程序以使其正常工作。

我的配置几乎与单个服务器上的配置相同：

sql_alchemy_conn = postgresql+psycopg2://username:password@localhost/db
broker_url = amqp://user:password@$RABBITMQ_SERVICE_HOST:5672/vhost
celery_result_backend = amqp://user:password@$RABBITMQ_SERVICE_HOST:5672/vhost

我相信通过这些配置，我应该可以让它运行但是由于某种原因，只有工作人员能够看到DAG及其状态，而不是调度程序，即使调度程序能够记录他们的心跳很好。还有什么我应该调试或看一下吗？

Answer 1

首先，你使用postgres作为气流数据库，不是吗？你是否为postgres部署了pod和服务？如果是这种情况，您是否在配置文件中验证了：

sql_alchemy_conn = postgresql+psycopg2://username:password@serviceNamePostgres/db 

您可以使用此github。我在3周前用它进行了第一次测试，效果很好。 入口点可用于验证rabbitMq和Postgres是否配置良好。