神经网络训练期间的MSE

Question

MSE在训练期间是否有可能增加？

我目前正在计算每个时期验证集的MSE，并且在一个证据点，MSE开始增加而不是减少。有人对此行为有解释吗？

Answer 1

回答你的问题：是的，有可能。

如果您正在使用正规化或随机训练，那么在训练时MSE正常起伏不定。

问题的一些可能原因

1. 您使用的学习率过高，导致超出成本函数的局部最小值的问题。

2. 神经网络过度拟合。培训过多，失去其推广能力。

您可以尝试的内容：

1. 当这种情况开始发生时，请降低学习率。

2. 在您的网络上应用某种正规化，例如辍学，以避免过度拟合。