哪种神经网络体系结构可以更好地进行文本分类？

Question

我尝试并搜索过，发现RNN可以提供更好的结果。使用哪个：LSTM或GRU或传统的RNN或CNN？

Answer 1

您提到的架构确实是架构的家族。性能取决于细节和（当然）任务。而且，这两种样式通常以各种方式组合在一起，因此，这并不是一个“非此即彼”的选择。

尽管如此，在编写类似CNN的BERT和类似RNN的ELMo架构时，它们还是很流行的。预训练的模型和代码可用于两者，并且在包括分类在内的各种任务中都表现良好。为什么不同时尝试它们呢？

Answer 2

这些体系结构可以被视为“香草”，因为有许多高级体系结构都依赖于这些体系结构，因此，一种名为ULMFiT的新体系结构是。实际上提供了一些最新的分类结果，并且使用fast.ai库易于理解和实现。在我看来，BERT也是一个很好的人，但理解起来更加复杂。