BERT微调

Question

我试图基于BERT创建问题回答模型，但无法理解微调的含义。我是否正确理解，就像适应特定领域？如果我想将其与Wikipedia语料库一起使用，我只需要在网络中集成未更改的预训练模型？

Answer 1

精细调整将预训练的BERT模型采用（完善）为两件事：

1. 域
2. 任务（例如分类，实体提取等）。

您可以首先按原样使用经过预先训练的模型，如果性能足够，则可能不需要针对用例进行微调。

Answer 2

Finetuning更像是将预训练模型应用于下游任务。但是，最近的state-of-the-art证明，微调对质量检查任务没有多大帮助。另请参见以下post。