验证准确性是否始终可以与培训准确性一样高？

Question

我有一个非常小的数据集（40个训练样例，10个验证示例，120个类），我在Keras中使用非常简单的模型获得了非常高的精度（仅限于batchnorm，flatten和dense layers）。

我的训练准确率为94-95％，验证准确率为76-78％。我知道它过度拟合了，我尝试了一些东西。数据不是图像，所以我不能增加数据。我也无法添加数据，因为它是特定类型。我使用了两个0.5级的丢包层，架构非常简单，所以我不认为我可以降低架构的复杂性。如果有人喜欢，我可以粘贴模型。

我的问题是：是否存在验证准确度不能达到训练准确度的情况？是否存在基于数据集大小的限制？或者，总是有可能验证精度以匹配训练精度，网络只需要正确的参数吗？

非常感谢

Answer 1

这肯定过度拟人。

过度拟合不仅仅是因为“太强大的模型”，而且还有很多，因为数据不够，而且我相信这是你的情况。

120个班级的40个例子？这听起来很像缺少很多数据。