拥抱脸pytorch-transformers：如何使用ceratin值初始化嵌入？

Question

我正在微调huggingface中的bert模型。有没有办法手动设置某个单词的初始嵌入？例如单词“ dog”的初始嵌入等于torch.ones(768)。谢谢！

Answer 1

您可以设置BertModel的输入嵌入：get_input_embeddings()

您需要了解词汇表中的单词索引，并可以更改嵌入矩阵中的相应行。