下载变压器模型以离线使用

Question

我有一个训练有素的变压器NER模型，我想在未连接到互联网的机器上使用。加载此类模型时，当前它会将高速缓存文件下载到.cache文件夹。

要离线加载和运行模型，您需要将.cache文件夹中的文件复制到离线计算机。但是，这些文件具有很长的，非描述性的名称，如果要使用多个模型，则很难识别正确的文件。有什么想法吗？

Example of model files

Answer 1

一种处理此问题的相对简单的方法是简单地“重命名”经过预训练的模型，如this线程中所述。

本质上，对于您要使用的任何模型，您要做的只是这样：

from transformers import BertModel

model = BertModel.from_pretraiend("bert-base-uncased")
model.save_pretraien("./my_named_bert")

该线程还详细说明了本地模型文件夹的命名方式，请参见LysandreJik的文章：

嗨，它们之所以这样命名，是因为这是确保S3上的模型与缓存中的模型相同的一种干净方法。名称是从S3上托管的文件的etag创建的。 [...]