为什么我的神经网络中的误差先增大然后不变？

Question

我正在使用带有7个神经元的2层神经网络的隐藏层来预测糖尿病。但是根据Matlab向我显示的图，我的网络错误首先增加，然后没有改变，而据我所知，它应该先减少然后停止改变。我的情况是否可能，或者我的网络无法正常工作？

Error Plot

Answer 1

似乎您的模型错误在大约50个纪元后开始逐渐增加。这可能意味着模型要么过拟合，要么您提供的数据集太小而无法将模型概括化。您可以按照以下提示操作：

1. 使用较小的学习率，例如0.001甚至0.0001。
2. 确保您的数据集包含大量样本。
3. 使用辍学层。它们在大多数用例中都很出色。尝试保持0.3或0.4的速率。
4. 此外，如果您过度训练模型，则会超出最小值，损失也会增加。进行实验观察，直到网络运行了几个纪元为止。 （根据您的情况，可能是25个纪元）