用附加信息预测句子中的遗漏单词

Question

我在下面有一句话：

it claimed that some 250,000 people __ the rally.

我想用Bert预测丢失的单词。而且我知道一些其他信息，例如这句话的主题。我应该如何使用其他信息进行预测？有没有解决这个问题的论文？

Answer 1

我不知道有关此问题的论文。但是我认为您可以将附加信息附加到[SEP]标记后面的输入句子中（就像第二句话一样），这样可以提高预测质量。

如果您的数据集带有足够大的附加信息标签，则可以使用上述设置对BERT进行微调，这样可以进一步提高质量。