std:在sagemaker实例中加载fasttext模型时,bad_alloc错误

时间:2020-10-23 06:28:19

标签: amazon-sagemaker fasttext

在尝试用于推理的Sagemaker实例中加载快速文本预训练的模型时,我收到一个std:bad_alloc错误。我正在使用的实例是M5.12xlarge,它具有〜200 GB内存和大约30 GB的存储容量。

出现此错误的行如下:

model = fasttext.load_model(model_path)
Fasttext Version: 0.9.1

我要加载的模型是从Facebook网站获取的预训练模型,如下所示: https://dl.fbaipublicfiles.com/fasttext/vectors-english/crawl-300d-2M-subword.zip

此型号的大小约为7.3 GB。

我查看了load函数中每一行的memory_profiler输出,如下所示:

加载模型之前的输出:

行号:76内存使用量:245.8 MiB增量:0.0 MiB

加载模型后的输出:

行号:77内存用法:5135.1 MiB增量:4888.9 MiB

注意:我能够在本地系统(16 GB RAM)中完成这项工作。当我将代码部署到Sagemaker端点时,会发生此问题。

0 个答案:

没有答案