针对特定域微调Bert（无人监管）

Question

我想微调与特定领域（在我的情况下与工程有关）相关的文本上的BERT。培训应该不受监督，因为我没有标签或任何东西。这可能吗？

Answer 1

您实际上想要的是继续对来自您特定域的文本进行BERT的预培训。在这种情况下，您要做的是继续将模型训练为屏蔽语言模型，但要针对您的特定领域数据进行训练。

您可以使用Huggingface的变形金刚中的run_mlm.py脚本。