我该如何重新训练拥抱的脸微调模型

时间:2020-07-22 08:42:49

标签: pytorch reusability bert-language-model

先谢谢。 我想先训练更多的数据,这意味着更多的标签。 (在这种情况下就像预训练一样) 在此示例中,标签编号为19,效果很好。

此后,我仅选择一些标签,并希望再次训练。 (只有10个标签)

但是在下面的代码中发生了错误

tokenizer = RobertaTokenizer.from_pretrained(pretrained_pa​​th,do_lower_case = False) 模型= RobertaForSequenceClassification.from_pretrained(pretrained_pa​​th,num_labels = 10)

错误消息如下。 为RobertaForSequenceClassification加载state_dict时发生错误: classifier.out_proj.weight的大小不匹配:从检查点复制形状为torch.Size([19,768])的参数,当前模型中的形状为torch.Size([10,768])。 classifier.out_proj.bias的大小不匹配:从检查点复制形状为torch.Size([19])的参数,当前模型中的形状为torch.Size([10])。

我该怎么办?

0 个答案:

没有答案