类别众多的BERT模型分类

时间:2020-10-09 10:36:18

标签: python machine-learning nlp classification bert-language-model

我想训练BERT模型来执行多类文本分类。我使用变压器,并按照本教程(https://towardsdatascience.com/multi-class-text-classification-with-deep-learning-using-bert-b59ca2f5c613)在Google Colab上进行了培训。

问题是我有很多类(大约600个),我觉得这会影响到令人失望的性能。

我看了一下Stackoverflow,发现这个线程(Intent classification with large number of intent classes)回答了我的问题,但我不知道如何实现它。

相似问题的答案是:“如果您可以将意图分类为一些粗粒度类,则可以训练一个分类器来指定实例属于这些粗粒度类中的哪一个。然后,对于每个粗粒度类,粒度类训练另一个分类器来指定细粒度的分类器。这种分层结构可能会改善结果。同样对于分类器的类型,我相信在BERT之上的简单的完全连接层就足够了。“

我是否必须分别训练我的模型并使用“如果”条件建立工作流程,或者是否可以同时训练所有BERT模型并拥有一个统一模型?

预先感谢

0 个答案:

没有答案