如何用随机权重初始化 BERT?我想在掩码语言建模任务中比较多语言与单语与随机初始化的 BERT 的性能。而在前一种情况下,它非常简单:
from transformers import BertTokenizer, BertForMaskedLM
tokenizer_multi = BertTokenizer.from_pretrained('bert-base-multilingual-cased')
model_multi = BertForMaskedLM.from_pretrained('bert-base-multilingual-cased')
model_multi.eval()
tokenizer_mono = BertTokenizer.from_pretrained('bert-base-cased')
model_mono = BertForMaskedLM.from_pretrained('bert-base-cased')
model_mono.eval()
我不知道如何加载随机权重。
提前致谢!