convnet突然降低准确性

Question

我试图使用此paper

中提出的架构在fer2013数据集上训练情感识别模型

本文使用的不同于我的数据集，因此我对步幅和滤镜大小进行了一些修改。 经过几个小时的培训，培训和测试集的准确性突然下降。

之后，两组的精确度仅保持在0.1-0.2左右，再也不会提高。 有人知道这个现象吗？

Answer 1

在任何神经网络训练中，如果两种准确度（即训练和验证）最初都会提高，然后开始下降，则表明您的网络无法收敛。更合适的是，您的优化器已开始超调。

最可能的原因可能是学习率高。降低学习率，然后再次检查您的示例。另外，在你的链接论文中，（至少在第一眼看到），我看不到提到的学习率。由于您的数据与纸张不同，因此相同的学习率也可能不起作用。