气流:Subdag在没有计划任务或生成日志的情况下失败

时间:2018-07-30 12:15:39

标签: airflow

我遇到了气流实例(1.8版)的情况,我在哪里看到Subdags任务失败,但是失败任务的日志要么是*** Task instance did not exist in the DB要么根本没有日志。任务每天运行,并且只会间歇性地失败。 Subdag在大多数情况下都有效,但是偶尔会失败,并且没有任何解释。

当我仔细阅读故障发生时的日志时,我看到两件事:

  1. 没有有关Subdag失败原因的日志说明
    一种。数据库显示该任务具有End Date,但没有Start Date
  2. Subdag中的所有任务都没有安排好

我已经仔细阅读了文档,从整个服务器上提取了日志,并升级了托管气流日志的服务器的大小(CPU,内存和磁盘)。我想这与超时有关,但似乎找不到问题的根源。


更多详细信息(一个实例):

  • Queued Dttm:3:38:04
  • Start Date:NULL
  • End Date:03:38:25
  • Duration:NULL
  • Try Number:1(不重试)

可能的理论-当任务调度死锁时失败。当前,失败的实例是具有许多同样优先级的并行任务的实例。它没有给出该错误消息,但是缺少其他选项,我正在尝试识别模式。


这似乎与问题#1473有关。如果它们不相同,则症状是相同的。

0 个答案:

没有答案