Airflow芹菜工人不断尝试运行已完成的任务

时间:2018-04-15 04:18:11

标签: python celery airflow

我最近在我的Airflow芹菜群集中添加了一台新机器(一台正在侦听单独队列的机器)。

一切似乎都运行良好但是新员工一遍又一遍地完成同样的(完成)任务。这在气流网络界面中是不可见的,它只显示旧任务是完整的,并且工作人员不会接收新任务。

检查旧任务日志会给出如下消息:

[2018-04-15 04:13:15,374] {base_task_runner.py:95} INFO - Subtask: 
[2018-04-15 04:13:15,373] {models.py:1120} INFO - Dependencies not met 
for <TaskInstance: my_task 2018-04-13 03:05:00 [success]>, dependency 
'Task Instance State' FAILED: Task is in the 'success' state which is 
not a valid state for execution. The task must be cleared in order to 
be run.

一遍又一遍

我已检查过元数据数据库,并且任务确实显示为已完成&#39;。我尝试重启Celery,调度程序,工作人员和服务器本身无济于事。工作者和调度程序都按预期在UTC时区上运行。

设置信息:

  • AWS上的EC2群集

  • MySQL Celery后端

  • Airflow 1.8.0

有没有人碰到这样的事情?

0 个答案:

没有答案