Question

我知道BERT具有预测句子中遗漏单词的能力，这在语法上是正确的，并且在语义上是连贯的。下面是示例代码：

import torch
from pytorch_pretrained_bert import BertTokenizer, BertForMaskedLM

tokenizer = BertTokenizer.from_pretrained('bert-base-uncased')
model = BertForMaskedLM.from_pretrained('bert-base-uncased')
model.eval(); # turning off the dropout

def fill_the_gaps(text):
   text = '[CLS] ' + text + ' [SEP]'
   tokenized_text = tokenizer.tokenize(text)
   indexed_tokens = tokenizer.convert_tokens_to_ids(tokenized_text)
   segments_ids = [0] * len(tokenized_text)
   tokens_tensor = torch.tensor([indexed_tokens])
   segments_tensors = torch.tensor([segments_ids])
   with torch.no_grad():
      predictions = model(tokens_tensor, segments_tensors)
   results = []
   for i, t in enumerate(tokenized_text):
       if t == '[MASK]':
           predicted_index = torch.argmax(predictions[0, i]).item()
           predicted_token = tokenizer.convert_ids_to_tokens([predicted_index])[0]
           results.append(predicted_token)
   return results

 print(fill_the_gaps(text = 'I bought an [MASK] because its rainy .'))
 print(fill_the_gaps(text = 'Im sad because you are [MASK] .'))
 print(fill_the_gaps(text = 'Im worried because you are [MASK] .'))
 print(fill_the_gaps(text = 'Im [MASK] because you are [MASK] .'))

有人可以向我解释，我是否需要微调BERT模型以预测遗漏的单词，或者只使用预先训练的BERT模型？谢谢。

Answer 1

BERT是一种掩盖的语言模型，这意味着它完全可以完成此任务。这就是为什么它可以做到的原因。因此，从这个意义上讲，不需要微调。

但是，如果您在运行时看到的文本与受训的BERT文本不同，则如果您对希望看到的文本类型进行微调，则性能可能会好得多。

需要微调BERT模型以预测遗漏的单词

1 个答案: