气流将长时间运行的任务标记为“失败”

Question

在一些DAG中，我们有一些长时间运行的任务（超过100小时）。任务在内部调用http端点以启动进程，然后循环轮询状态+睡眠30秒。大约40个小时后，Airflow将作业标记为失败，但是日志中没有说明原因-为任务运行而打印的最后一项是“休眠30秒”语句”。触发的http进程也是启动并运行。

预先感谢

Answer 1

如果您的目标是等待状态更改，请使用具有重新计划功能的传感器（可能需要更长的轮询等待时间）。您的方法可能会阻止工作人员，并以某种方式阻止工作人员与调度程序的通信。这些任务将被标记为僵尸，并可能被杀死。