气流计划程序无法启动任务

时间:2020-04-08 13:56:06

标签: postgresql airflow airflow-scheduler postgresql-12

我的问题:

气流调度程序未分配任务。

背景

我使用sqlitedb在本地计算机上成功运行了Airflow。示例样本以及我的自定义DAG都没有任何问题地运行。 当我尝试从sqlite数据库迁移到Postgres(使用this指南)时,调度程序似乎不再分配任务。 DAG处于“运行”状态,但是任何DAG中的任务都没有被分配状态。

我已执行的故障排除步骤

  • Web服务器和调度程序正在运行
  • DAG设置为“ ON”。
  • 运行气流initdb之后,将用所有气流表填充公共模式。
  • 我的连接字符串中的用户拥有数据库以及公共模式中的每个表。

计划程序日志

调度程序日志不断发布此警告,但除this以外的其他帖子中,我无法使用它来查找任何有用的信息,但没有响应。

[2020-04-08 09:39:17,907] {dag_processing.py:556} INFO - Launched DagFileProcessorManager with pid: 44144
[2020-04-08 09:39:17,916] {settings.py:54} INFO - Configured default timezone <Timezone [UTC]>
[2020-04-08 09:39:17,927] {settings.py:253} INFO - settings.configure_orm(): Using pool settings. pool_size=5, max_overflow=10, pool_recycle=1800, pid=44144
[2020-04-08 09:39:19,914] {dag_processing.py:663} WARNING - DagFileProcessorManager (PID=44144) exited with exit code -11 - re-launching

环境

  • PostgreSQL版本12.1
  • 气流v1.10.9
  • 这一切都在conda虚拟环境中的MacBook Pro(Catalina)上运行。

1 个答案:

答案 0 :(得分:0)

Postgres是使用postgresapp安装的。已将postgresapp更新为2.3.3e版本。 PostgresSQL仍为12.1版,但通过更新postgresapp,此问题已解决。