训练神经网络时损失函数的奇怪行为

Question

我正在构建一个模型，最后做一些回归。因此，我在开始时训练了卷积神经网络。 conv网是变分自动编码器中的编码器。在训练VAE之后，我移除了解码器并将其与GRU一起使用。然后我在卷积神经网络（即编码器）之上训练了一个门控循环网络。因此，将conv网后的图像特征输入到递归神经网络中。在单独训练复现神经网络之后，在转发网上＆＃34;，我做了一个微调，以训练整个网络的组合。

这是我迄今为止所取得的损失功能。

正如我们从上图中可以看到的那样，损失正在减少并且即将收敛，但最终会有一些奇怪的行为。

我想知道这种行为的原因。

任何帮助都将非常感谢!!