深度学习中的训练损失和验证损失

Question

请您指导我如何解释以下结果？

1）损失＆lt; validation_loss 2）损失＆gt; validation_loss

似乎培训损失总是应该小于验证损失。但是，这两种情况都发生在训练模型时。

Answer 1

在机器学习和深度学习中基本上有三种情况

1）不适合

这是损失的唯一情况＆gt; validation_loss，但只是稍微，如果损失远远高于validation_loss，请发布您的代码和数据，以便我们查看

2）过度拟合

损失＆lt;＆lt; validation_loss

这意味着您的模型非常适合训练数据，但根本不适合验证数据，换句话说，它没有正确地推广到看不见的数据

3）完美贴合

loss == validation_loss

如果两个值最终大致相同，并且如果值正在收敛（绘制损失随时间变化），那么你做得对的可能性非常高

Answer 2

1）您的模型在训练数据上的表现优于未知验证数据。有点过度拟合是正常的，但需要通过丢失等技术来调节更高的数量以确保泛化。

2）您的模型在验证数据上表现更好。当您对训练数据使用增强时会发生这种情况，与未修改的验证样本相比，更难以预测。当您的训练损失计算为1个时期的移动平均值时，也可能发生这种情况，而验证损失则在同一时期的学习阶段之后计算。

Answer 3

真的是机器学习中的一个基本问题。

If validation loss >> training loss you can call it overfitting.
If validation loss  > training loss you can call it some overfitting.
If validation loss  < training loss you can call it some underfitting.
If validation loss << training loss you can call it underfitting.

您的目标是使验证损失尽可能小。 过度拟合几乎总是一件好事。最终所有重要的事情是：验证损失要尽可能地低。

这通常发生在训练损失低很多的时候。