如何训练bert(或类似模型)从特定领域学习单词的嵌入?

时间:2020-03-08 20:29:58

标签: nlp word-embedding

我有一个网站上有关特定域的帖子的数据集。我想学习该数据集中单词的嵌入。但是,据我了解,BERT的微调是为了针对诸如分类之类的特定任务微调预训练的嵌入。有没有办法使用BERT等模型(从头开始训练或微调)来学习我的数据集中新单词的嵌入?

0 个答案:

没有答案