气流：所有任务都已完成，但 dag 状态正在运行

Question

我将 Airflow 2.0.0 与 CeleryExecutor 和 mysql-8.0.22 一起使用。

每次我们执行任何 dag 时。无论所有任务状态是失败/成功/混合，总体 dag 状态始终处于运行状态。

因此一段时间后，调度程序也会崩溃。

Airflow 安装在 /root/ 这是airflow.cfg：

[core]
dags_folder = /var/airflow/dags
executor = CeleryExecutor
sql_alchemy_conn = mysql://user:password@localhost:3306/airflow

[logging]
base_log_folder = /var/airflow/logs

[webserver]
base_url = http://localhost:8080
default_ui_timezone = UTC
web_server_host = 0.0.0.0
web_server_port = 8080

[celery]
celery_app_name = airflow.executors.celery_executor
worker_concurrency = 8
worker_log_server_port = 8793
broker_url = sqla+mysql://user:password@localhost:3306/celery
result_backend=db+mysql://user:password@localhost:3306/celery
flower_host = 0.0.0.0
flower_port = 5555
operation_timeout = 1.0

[scheduler]
child_process_log_directory = /var/airflow/logs/scheduler

有人可以帮忙吗。

Answer 1

您的数据库是否与您的气流工作者在同一节点上运行？看起来不对。