拥抱的脸-在本地保存微调的模型-以及令牌生成器吗？

Question

我只是想知道，如果微调BERT模型并保存，令牌生成器是否会受到某种影响或更改。以后使用保存的BERT模型时，是否也需要在本地保存令牌生成器以重新加载它？

我只是这样做：

bert_model.save_pretrained('./Fine_tune_BERT/')

然后再

bert_model = TFBertModel.from_pretrained('./Fine_tune_BERT/')

但是我也需要保存令牌生成器吗？还是我可以按常规方式使用它？

tokenizer = BertTokenizer.from_pretrained('bert-base-cased')

Answer 1

在您的情况下，无需保存令牌生成器，因为您尚未更改令牌生成器或添加了新令牌。 Huggingface令牌生成器提供了添加新令牌或重新定义特殊令牌的选项，例如[MASK]，[CLS]等。如果进行了此类修改，则可能必须保存令牌生成器以供以后重用。 / p>

Answer 2

令牌化程序不会受到微调的影响。令牌化器将在训练期间需要保持不变的令牌到词汇表索引进行转换，否则，在BERT计算开始时就无法训练静态嵌入。