验证损失在再次下降之前上升

Question

我的训练损失让我有些奇怪的行为，我不知道是什么造成的。轴是损失与时代的关系。

这里有两件事情：首先，验证损失开始随着训练损失而下降，然后他们开始强烈分歧。我假设这是某种形式的过度拟合，即使验证损失在以后发生 - 这是正确的吗？

然后，验证损失再次降低以应对训练损失 - 在这里，它恰好是训练损失的巨大飙升。

有没有人能够深入了解造成这种情况的原因，以及如何确保事情顺利进行并顺利完成？

这是使用Adam优化器获得的，在本例中是在卷积自动编码器上，但我也在LSTM上有这个。

Answer 1

我在非平衡数据集上有类似的经验，其中模型倾向于只产生1个类输出。然后它反转了决策边界，并且单个时期的表现非常糟糕。我建议查看数据集中的不规则性。这可以说是每个类别中的样本之间的平衡，也可能是基本事实设置不当。

无论如何，在不知道用例和/或数据的情况下很难准确判断出现了什么问题。