即使将学习率设置得很小，训练损失也会交替增加和减少

Question

嗨，我正在训练神经网络模型。我看到训练损失增加和减少。是模型学习的正确方法。据我了解，这是由于alpha值较高而发生的，但是即使将alpha设置为较小的值（〜0.00001）也没有变化，这可能是什么原因？任何人都可以提出建议

有时候验证的准确性是恒定的，但有时却会不断下降。