验证准确性提高,但验证损失也在增加

时间:2018-07-13 09:21:54

标签: python tensorflow machine-learning neural-network conv-neural-network

我正在使用CNN网络将图像分为5类。我的数据集大小约为370K。我使用的学习速率为0.0001,批处理大小为32的Adam优化器。令人惊讶的是,随着时间的推移,我的验证准确性得到了提高,但是验证损失却在不断增长。

我假设模型对验证集的不确定性越来越小,但准确性更高,因为softmax输出的值大于阈值。

这可能是什么原因?在这方面的任何帮助将不胜感激。 Loss curve

Accuracy curve

1 个答案:

答案 0 :(得分:0)

我认为这是过拟合的情况,如先前的评论所指出。过度拟合可能是数据集中差异较大的结果。当您训练CNN时,它显示出减少训练误差的良好比率,从而产生了更复杂的模型。更复杂的模型会产生过度拟合,可以在验证误差趋于增加时注意到。

Adam优化器负责学习率,指数衰减以及模型的总体优化,但不会采取任何措施来防止过度拟合。如果要减少它(过度拟合),则需要添加正则化技术,该技术会惩罚模型中较大的权重值。

您可以在深度学习书中http://www.deeplearningbook.org/contents/regularization.html

中阅读有关此内容的更多详细信息。