BERT的无监督微调仅适用于嵌入吗？

Question

我想对未标记数据上的特定域进行BERT调整，并让输出层检查它们之间的相似性。我该怎么做？我是否需要先对分类任务（或问题答案等）进行微调并获得嵌入？还是我可以只使用预先训练的Bert模型，而无需执行任务并根据自己的数据进行微调？

Answer 1

无需微调分类，尤其是在您没有任何监督分类数据集的情况下。

您应该继续以最初训练时相同的无监督方式训练BERT，即，继续使用掩蔽语言模型目标和下一句预测进行“预训练”。 Hugginface的实现为此包含类BertForPretraining。