为什么在卷积神经网络训练中损失急剧增加？

Question

我正在Pytorch中训练一个简单的CNN，以便在一个非常小的数据集上进行分割（只有几张图像，因为这只是出于概念验证的目的）。由于某种原因，在训练之前，损失的飞涨火箭高达6，IoU随机下降到0（交集超过联合精度度量），然后再返回。我想知道为什么会这样吗？

Answer 1

不稳定。这实际上很常见。看一下已发表的论文，您也会看到同样的事情。在梯度下降过程中，梯度景观中可能会有“粗糙的斑块”，并给出了局部不良的解决方案，因此损失很大。

已经说过，其中一些峰值实际上可以表明您在超参数和网络体系结构选择方面做得不好。根据我的经验，导致峰值的可能原因之一是体重减轻。体重下降提供了规律性，但是在我自己的工作中，我发现它会引起很多不稳定性。因此，如今，我不再使用它。

图形中的尖峰看起来还不错，我也不必担心。