卷积神经网络中损失函数的周期模式（张量流）

Question

我正在使用Tensorflow中实施的卷积神经网络（cnn）进行图像分割。我有两个类，我使用交叉熵作为损失函数和Adam优化器。 我正在用大约150张图片训练网络。

在训练期间，我看到这种周期性模式，训练损失下降，直到它有几个高值，然后迅速下降到前一个水平。

在验证损失中也可以观察到类似的模式，验证损失会在几个时期周期性地下降，然后又回到之前的水平。

通过降低学习率，这种模式不再可见，但损失更高，联合拦截（IoU）更低。

修改：我发现我的图片有两次不同的标签略有不同。我还注意到这个模式与drop_out有关，在训练图像被学习到100％之后，drop_out产生在一些迭代中训练误差增加很多并且这导致峰值。辍学有没有经历过这样的事情？

有人看过这样的图案吗？可能是什么原因？