神经网络：成本不稳定

Question

我在python中实现了一个简单的神经网络用于分类（一类）图像。图层很简单（image_matrix，5,1）。使用relu和sigmoid作为隐藏层 我正在迭代5000次。起初，看起来成本会以合理的方式逐渐下降 但是，无论我使用多少训练样例，或者我的learning_rate是什么，每次大约3000次迭代后，成本开始表现不正常...... cost（点击查看图片）
有人能帮我理解发生了什么吗？ 感谢

Answer 1

在训练模型中，您应该记住它们的成本是多个局部最小值。您的图表显示您的成本正在移动此局部最小值，同时找到您的全局最小值，这是找到模型的最佳性能的目标。

1st - 你应该尝试检查每次迭代/纪元的准确性，f1分数或损失，以检查性能是否真的有所改善。

第二 - 进行交叉验证并检查上述相同的指标以进行验证

3 - 实施早期停止功能，应该检查你的模型是否正在改善。

*注意：找到可以帮助您更好地找到全局最小值的最佳alpha。