为什么Airflow崩溃并显示INFO-“任务退出，返回代码-9”？

Question

我正在运行一个很大的DAG，但是仅显示该消息就停止了，我无法弄清楚Airflow文档中的错误是什么。

如果有区别：我的气流在带有Helm图表的Rancher中运行。

Answer 1

我认为这通常是内存不足的异常。

Answer 2

我想过一种减小所有内存容量的方法。第一次尝试是加载一些行而不是所有行：

serverCursor = conn.cursor("serverCursor")
serverCursor.execute(f'''select * from {ORIGIN_SCHEMA}.{table};''')

df = []
while True:
  records = serverCursor.fetchmany(size=50000)
  df = df + records
  if not records:
    break
serverCursor.close()

那解决了这个问题。