标签： nlp text-classification bert-language-model huggingface-transformers pytorch-lightning
我想使用预训练的 BERT 模型，以便将其用于文本分类任务（我正在使用 Huggingface 库）。然而，预训练模型是在与我不同的领域进行训练的，我有一个大型未注释的数据集，可用于对其进行微调。如果我只使用我的标记示例并在训练特定任务 (BertForSequenceClassification) 时“随时”对其进行微调，则数据集太小，无法针对特定领域调整语言模型。这样做的最佳方法是什么？ 谢谢！