标签： neural-network
我使用随机（增量而非批量）方法来训练我的神经网络，并且在每1000000次迭代后，我打印网络中神经元的错误总和。有一段时间我可以看到这个整体错误稳步下降，随着进度开始减慢，它似乎反转完全的另一种方式，整体错误开始稳步增加。这不是正常的行为，我不确定是什么原因造成的。我的学习率设定得非常低0.0001。