卷积网络中是否有些过拟合吗？

Question

我正在使用resnet50对Kaggle数据集中的花朵图片进行分类。我想澄清一下我的结果。

 epoch  train_loss  valid_loss  error_rate  time

   0    0.205352    0.226580    0.077546    02:01

   1    0.148942    0.205224    0.074074    02:01

这是培训的最后两个时期。如您所见，第二个时期显示出一些过拟合现象，因为train_loss的边际裕度比验证损失还低。尽管过拟合，但error_rate和验证损失减少了。我想知道尽管过度拟合，该模型是否实际上得到了改善。最好将时期0或时期1中的模型用于看不见的数据？谢谢！

Answer 1

可悲的是，“过度拟合”是当今经常被滥用的术语，用于表示几乎所有与次优绩效有关的事物；但是，实际上来说，过度拟合意味着非常具体的东西：它的标志性签名是您的验证损失开始增加，而训练损失则继续减少，即：

（图片摘自overfitting上的Wikipedia条目）

很明显，您的情况没有发生任何事情；培训和验证损失之间的“余量”完全是另一个故事（称为generalization gap），并不表示过度拟合。

因此，原则上，您完全没有理由选择具有较高 validation 损失的模型（即您的第一个），而不是验证损失较低的计算机（您的第二计算机）。