尽管重试= 0,但失败后重试气流任务

时间:2019-01-14 15:57:26

标签: airflow airflow-scheduler google-cloud-composer

我在Cloud Composer(3个 ObjectQuery objectQuery3 = new ObjectQuery("select * from Win32_LogicalDisk"); ManagementObjectSearcher searcher3 = new ManagementObjectSearcher(objectQuery3); ManagementObjectCollection disks = searcher3.Get(); foreach (ManagementObject value in disks) { disk.FreeSpace = (Convert.ToUInt64(value.GetPropertyValue("FreeSpace"))/1024/1024/1024/1024); disk.Size = (Convert.ToUInt64(value.GetPropertyValue("Size")) /1024/1024/1024/1024); disk.Name = Convert.ToString(value.GetPropertyValue("Name")); disk.VolumeName = Convert.ToString(value.GetPropertyValue("VolumeName")); storage.Insert(index, disk); index++; } 节点;映像版本:n1-standard-1;配置替代:核心composer-1.4.0-airflow-1.10.0; PyPI软件包:catchup_by_default=False)上运行了一个Airflow环境。

在DAG运行期间,由于气流工作者吊舱的逐出,一些任务(所有GKEPodOperators)失败了。所有这些任务都设置为kubernetes==8.0.1。其中之一被重新排队并重试。当任务设置为0重试时,为什么会发生这种情况?为什么只发生其中一项任务?

1 个答案:

答案 0 :(得分:0)

“气流工人棚驱逐”是指某些棚需要更多资源,因此有一些棚被逐出。

要解决此问题,您可以使用更大的计算机类型,或尝试减少DAG的内存消耗。

查看他的document以获得更好的视图。