验证损失增加

Question

我正在尝试用我的numpy神经网络解决狗与猫的问题。

验证丢失

训练损失

我的训练损失减少但验证损失增加，所以我的模型肯定过度拟合。 我使用了两个大小为125,50的隐藏层。我使用了0.075的学习率运行了600次迭代的模型。

我也试过使用lambda = 0.01或0.03的正则化，但仍然没有帮助。

这个问题的任何解决方案？

Answer 1

将Dropout添加到每个图层，丢失概率为.5。了解它如何影响验证错误，如果您的训练误差不会超过特定点，请将概率降低到.3或从第一层依次删除。这里有点尝试和错误。

我猜你的意思是使用lamda进行L2正则化（权重衰减）。如今，网络通常使用辍学和非常小的L2，如0.0005。 L2使权重接近于零并防止它们爆炸。 Dropout是一个更好的调节器，因为它在训练期间随机丢弃节点，从而导致某种特殊化。

祝你好运。