验证/培训准确性和过度拟合

Question

如果我们将数据随机地分成训练数据和验证数据，并假设训练数据和验证数据具有类似的分布＆＃34;，即它们都是整个数据集的良好表示。

在这种情况下，如果没有过度拟合，验证准确度是否应始终与训练准确度大致相同？或者，在某些情况下，是否有可能在培训和验证准确性之间存在差距，而这种差距不是由于过度拟合或验证数据的错误表示？

如果存在这种差距，如何判断训练和验证准确性之间的差距是由于过度拟合还是其他原因造成的？

Answer 1

除了“问题通常很难回答之外还有什么问题，但我认为训练数据的准确性更高总是由于过度拟合或偶然。”

• 验证准确度通常在一个纪元结束时更高，因为训练精度通常计算为纪元期间的移动平均值
• 当使用大量图像增强时，您有时会在验证数据上看到更好的性能，因为它没有像训练数据那样被修改

这两个并不真正重要，如果我理解正确，你会要求训练准确性更高而没有过度拟合或机会发挥作用的情况。我不认为存在这样的理由。