在我的用于数字分类的神经网络模型中 成本从7降低到1.7，然后又开始增加，可能的原因是什么？对于5000次迭代，我将学习率设为0.1，对于接下来的5000次迭代，我将学习率设为0.03 下一个5000次迭代为0.001。 我在训练数据上的准确性仅为78％。 我该怎么办？
答案 0 :(得分：0)
如果损失减少，达到特定值，然后又开始增加，则主要是由于高学习率导致模型发散。尽管经过5000次迭代后学习率降低了，但是前5000次迭代的学习率可能太高了，以至于那时模型可能已经大大偏离了，后来学习率的降低可能无法使其收敛。 您是否可以尝试将前5000次迭代的学习率从0.03（例如）降低到更低的值，并查看模型是否收敛？