为什么我的损失函数仅在中间振荡

时间:2018-07-14 23:53:39

标签: tensorflow conv-neural-network tensorboard loss-function

我正在制作一个卷积神经网络,并且总是得到一个在中间振荡更多的损失函数,我该如何解决呢? Loss error

我的数据只有100张图像,我想过拟合以确保一切正常,但是当始终在中心位置出现损失时,振荡会更大,我曾尝试降低学习率,但始终保持不变,曲线的一半总是有较大的振荡,以批次大小拍摄所有100张图像,但振荡并没有减少,这是我的代码。为什么会发生这种情况?我该如何解决?

1

1 个答案:

答案 0 :(得分:0)

由于学习率而发生振荡。如果学习快速,您将跳过局部最小值,并且损失函数会发散。如果您将学习率降低,您将永远不会收敛或收敛非常缓慢。您可以尝试摆弄自己的学习率,以消除那些振荡,但随后会冒过度训练模型的风险。只要您在合理的时间内收敛,您的图表对我来说就很好了。您不必理会中间发生的事情。