如何从bert微调模型中嵌入？

Question

我已经使用变压器和割炬微调了“无基数箱型”模型，这给了我pytorch_model.bin，vocab.txt和其他文件作为输出。 加载模型后，如何嵌入完整的词汇，例如将每个单词映射到其嵌入向量的矩阵

Answer 1

我建议使用Huggingface，它们使使用和训练所有Transformer模型变体非常容易。

要从BERT调整后的模型中获取嵌入，可以使用BertModel.set_input_embeddings()。