如何发行： spaCy提到，如果您的数据很少，ELMo / BERT在NLP任务中非常有效，因为这两个具有很好的迁移学习属性。
我的问题：相对于什么模型转移学习。如果您有用于狗的语言模型，那么为kangeroos找到一个好的语言模型会更容易（我的情况与生物学有关，并且有很多术语）？
答案 0 :(得分：0)
Well，BERT和ELMo受过庞大的数据集训练（BERT受过16GB的原始文本训练）。这意味着从这些模型产生的嵌入是通用的，这将在大多数任务中利用语言模型的功能。
由于您的任务与生物学有关，因此您可以查看诸如BioBERT（https://arxiv.org/abs/1901.08746）之类的替代方案