气流芹菜作业处于运行状态

Question

我正在尝试使用CeleryExecutor设置Airflow。我正在将postgres用作数据库，将rabbitmq用作消息代理。所有计划好的气流作业都将进入运行状态，但它们永远不会运行。我没有在rabbitmq日志或气流日志中看到任何错误。任何帮助表示赞赏

这是我的经纪人和后端网址

broker_url = amqp://guest:guest@127.0.0.1/airflow

celery_result_backend = db+postgresql://airflow:airflow@127.0.0.1:5432/airflow

sql_alchemy_conn = postgresql+psycopg2://airflow:airflow@127.0.0.1:5432/airflow

Answer 1

您检查芹菜工人是否正确加入了Rabbitmq吗？您可以考虑使用flower，这是一个用于监视和管理Celery群集的基于Web的工具。您可以简单地使用airflow flower

运行它

根据我过去的经验，大多数时候，计划任务但不运行时，芹菜工人有问题。在我们的案例中，我们使用Postgres + Redis，这是工作人员和Redis之间的连接问题。