带有 CeleryExecutor(RMQ 代理)的 Airflow 1.10.15 任务卡在排队状态

时间:2021-07-23 18:21:42

标签: airflow

当任务卡在排队状态时,我又回到了这个问题。几个月前,这发生了,我按照建议设置调度程序的 run_duration 以便它重新启动并重新开始。好吧,我做了这个建议,我设置为每 2 小时一次。我看到调度程序在日志中重新启动(每 2 小时一次),这似乎有所帮助。

我检查了气流调度程序和网络服务器 CPU 和内存使用情况,它们看起来不错。

我在日志中注意到的一件事是“芹菜错过的心跳”的数量。可能是网络延迟,但这会影响无法启动的任务吗?我在airflow.cfg job_heartbeat_sec中看到了这些设置(定义了任务实例在清除任务时应该侦听外部终止信号的频率 来自 CLI 或 UI)和 scheduler_heartbeat_sec(定义调度程序应该运行的频率(以秒为单位)。默认为 5 秒。将这些值增加到 10 会有所帮助,以便调度程序不会每次都不断检查经常?

0 个答案:

没有答案