如何在非常小的数据集上训练？

Question

我们正试图了解 Rasa 的底层模型——那里的论坛仍然没有给我们答案——关于两个主要问题：

• 我们知道 Rasa 模型是一种基于转换器的架构。是吗 在任何数据集上预训练？ （例如维基百科等）

• 那么，如果我们 正确理解，意图分类是一项微调任务 在那个变压器的顶部。为什么它适用于这么小的 训练集？

感谢任何见解！

谢谢

利奥

Answer 1

transformer 模型未在任何数据集上进行预训练。我们使用了相当浅的转换器堆栈，它不像大型预训练语言模型中使用的更深的转换器堆栈那样需要数据。 话虽如此，没有确切数量的数据点足以训练您的助手，因为它因域和您的问题而异。通常，一个好的估计是每个意图 30-40 个示例。