验证损失和准确性都有尖峰

Question

我使用Pytorch通过转移学习ResNet18来完成图像分类任务。我对转移学习网络进行了微调。我有16个班级，每个班级都有100张训练图像和24张验证图像。以下是损耗图和精度图。我的问题是： 1.培训过程是否正确？我的意思是是否存在过度拟合。 2.为什么在第四个纪元出现峰值？这是否意味着过度拟合？谢谢

Answer 1

1. 因为您的验证损失/准确性接近训练损失/准确性，所以没有任何重大的过拟合。不过，如果您想进一步减少边距，则可以使用图像增强技术或正则化。

2. 该特定时期的峰值并不一定意味着过度拟合，因为您的网络以后可以从中恢复。这可能是由于权重处于不好的局部最小值中而发生​​的。您可以使用不同的随机种子多次运行实验，以检查这是常见现象还是畸变现象。在前一种情况下，使用其他优化器或降低学习率可能会有所帮助。