如何解决问题＆＃34;迭代期间测试精度降低＆＃34;？

Question

我正在设计一种用于语义分割的新网络架构。当训练迭代增加时，训练损失减少。但是，当我测量测试精度时。我得到了下面的数字

  

从0到20.000次迭代，精度提高。但是，在20,000次迭代之后，测试精度降低。我想这是过度拟合的问题。

我尝试将dropout添加到网络中，但图表趋势类似。你能告诉我原因，我该如何解决？我认为早期停止不是好的解决方案。感谢

Answer 1

确保您的训练数据随机化，您也可以开始以更高的学习率（比如0.1）进行测试，以摆脱局部最小值，然后将其降低到非常小的值，以便让事情得以解决。为此，请将步长更改为1000次迭代，以减少每1000次迭代的学习率大小。