CNN：正常情况下，验证损失的减少速度比训练损失要慢得多吗？

Question

我正在训练CNN U-net模型以进行图像的语义分割，但是训练损失的减少速度似乎比验证损失要快得多，这正常吗？

我损失了0.002

培训和验证损失可以在下面的图片中看到：

Answer 1

是的，这完全正常。

随着NN的学习，它从训练样本中推断出，它在每次迭代中都了解得更多。培训期间从未使用过验证集，这就是为什么它如此重要的原因。

基本上：

• 只要验证损失减少（甚至略有减少），就意味着NN仍然能够更好地学习/概括
• 一旦验证损失停滞，您应该停止培训，
• 如果继续训练，验证损失可能会再次增加，这称为过度拟合。简而言之，这意味着NN会“心地”学习训练数据，而不是真正地推广到未知样本（例如验证集中）

我们通常使用早停来避免最后一次：基本上，如果您的验证损失在X次迭代中没有改善，请停止训练（X为5或10之类的值）。