如何解释之字形训练损失？

Question

我的训练数据包含约700个独特样本（这是针对回归问题）。数据没有洗牌，因此前N个样本具有相同的标签（例如，值 1.25 ），然后下一个M样本具有相同的标签（例如， 2.99 ）等。总共有大约15个独特的标签。

我使用简单的CNN，因为输入是图像（64x64x3）。即使没有辍学或任何其他形式的正规化，我也无法将训练损失稳定在接近零的水平。

这种学习损失的模式是什么？ （灰线是训练损失，橙线是验证损失）。

Answer 1

您可以从这种模式中获得的唯一指示是学习率太大，您应该减少它直到损失开始减少。

Answer 2

  

看来您的学习速度是   太大，会使您的参数剧烈波动。

那时候我建议的事情是：

• 降低初始学习率
• 尝试使用另一种学习速度有所下降的优化器（例如，在这种情况下对我有用的ADAM）