当您掩盖一些单词并尝试预测它们时，我对BERT和其他解决方案有所了解。 但可以说我有一段文字：
变压器已采用自然加工 暴风雨，使田野突飞猛进。新， 更大，更好的模型几乎可以种植 各种任务的性能基准。
我不能事先对掩盖所在的BERT说。我正在寻找一种算法，该算法可以理解丢失的单词在哪里，然后预测它们。
答案 0 :(得分：1)
您可以做的是检查文本中的每个位置（我建议从位置2开始），比较文本中出现的下一个单词是否属于该模型中最可能出现的下一个单词，例如：
“变压器风暴席卷了自然加工中心”。
输入：“变压器面具”
比较：遮罩/“拥有”
输入：“变形金刚取走了面具”
比较：MASK /“ the”
输入：“变形金刚取走了面具”
比较：MASK /“ of”-在这里，您可能会具有非常低的概率。 这可以帮助您检查这是否是丢失单词的地方。
这篇文章可以帮助您以编程方式实现它：Predicting Missing Words in a sentence - Natural Language Processing Model