验证准确性提高，但验证损失也在增加

Question

我正在使用CNN网络将图像分为5类。我的数据集大小约为370K。我使用的学习速率为0.0001，批处理大小为32的Adam优化器。令人惊讶的是，随着时间的推移，我的验证准确性得到了提高，但是验证损失却在不断增长。

我假设模型对验证集的不确定性越来越小，但准确性更高，因为softmax输出的值大于阈值。

这可能是什么原因？在这方面的任何帮助将不胜感激。

Answer 1

我认为这是过拟合的情况，如先前的评论所指出。过度拟合可能是数据集中差异较大的结果。当您训练CNN时，它显示出减少训练误差的良好比率，从而产生了更复杂的模型。更复杂的模型会产生过度拟合，可以在验证误差趋于增加时注意到。

Adam优化器负责学习率，指数衰减以及模型的总体优化，但不会采取任何措施来防止过度拟合。如果要减少它（过度拟合），则需要添加正则化技术，该技术会惩罚模型中较大的权重值。

您可以在深度学习书中http://www.deeplearningbook.org/contents/regularization.html

中阅读有关此内容的更多详细信息。