为什么我的验证损失低于培训损失？

Question

为什么我的验证损失低于培训损失？我想知道这些曲线是否可以接受。我不知道这些曲线是否正确。

Answer 1

这种情况很少发生在现实世界的数据集中，但是有可能发生，例如，考虑到验证数据集和训练具有大致相同的分布，而训练集比验证数据集，在这种情况下，您正在显示的学习是可能的。

Answer 2

这种情况背后的普遍原因是，与验证集相比，您的训练集有些复杂。

考虑到您使用deep-learning作为标记，我什至会考虑辍学正则化层的影响。有关理论上的讨论，请参见this post。