Question

我正在使用大熊猫数据框，而任务运行30-40分钟。在繁重的计算过程中，我收到以下消息：-

-bash-4.2$ tail -f  /home/app/airflow/logs/report_dag_for_new_metrics/first_pass_yield_metrics/2020-05-21T15\:41\:46.689070+00\:00/2.log 
[2020-05-26 05:05:17,427] {logging_mixin.py:95} INFO - sort columns in data frame for merge ['product_id', 'type', 'created_date']
[2020-05-26 05:05:24,153] {logging_mixin.py:95} INFO -        product_id type              created_date
0  00000346333824    I                2020-04-17
1  00000346333824    U  2020-04-25T21:53:58.551Z
2  00000346333824    U  2020-04-25T22:07:03.581Z
3  00000346333824    U  2020-05-20T04:32:16.581Z
4  00000346357646    I                2020-04-17
[2020-05-26 05:05:24,173] {logging_mixin.py:95} INFO - (58582, 1206)
[2020-05-26 05:05:24,194] {logging_mixin.py:95} INFO - 23618
[2020-05-26 05:17:17,260] {logging_mixin.py:95} INFO - [2020-05-26 05:17:17,259] {local_task_job.py:105} INFO - Task exited with return code -9

任何帮助，气流社区也对代码9并没有多说。看到了与代码6有关的问题。

Answer 1

-9 indicates系统终止了进程，很可能是因为DataFrame消耗了太多内存。最好的建议是重写脚本以使用更少的内存或扩大运行Airflow的计算机的容量（如果可能）。

气流任务信息-任务退出，返回码-9

1 个答案: