在尝试用于推理的Sagemaker实例中加载快速文本预训练的模型时,我收到一个std:bad_alloc错误。我正在使用的实例是M5.12xlarge,它具有〜200 GB内存和大约30 GB的存储容量。
出现此错误的行如下:
model = fasttext.load_model(model_path)
Fasttext Version: 0.9.1
我要加载的模型是从Facebook网站获取的预训练模型,如下所示: https://dl.fbaipublicfiles.com/fasttext/vectors-english/crawl-300d-2M-subword.zip
此型号的大小约为7.3 GB。
我查看了load函数中每一行的memory_profiler输出,如下所示:
加载模型之前的输出:
行号:76内存使用量:245.8 MiB增量:0.0 MiB
加载模型后的输出:
行号:77内存用法:5135.1 MiB增量:4888.9 MiB
注意:我能够在本地系统(16 GB RAM)中完成这项工作。当我将代码部署到Sagemaker端点时,会发生此问题。