神经网络反向传播权重变化对预测的影响

Question

我试图了解神经网络如何通过学习不同的输入/输出模式来预测不同的输出。我知道权重变化是学习的模式......但是如果输入带来了权重调整以实现特定输出在反向传播算法中......当用一组不同的输入模式呈现时，这种知识（权重更新）不会被敲掉......从而使网络忘记它以前学过的东西..

Answer 1

避免“破坏”网络当前知识的关键是将学习率设置为足够低的值。

让我们看看感知器的数学：

学习率始终指定为＆lt;这迫使反向传播算法朝着正确的设置采取许多小步骤，而不是大步跳跃。步数越小，将重量值“抖动”到完美设置就越容易。

另一方面，如果使用学习率= 1，我们可能会开始遇到如您所述的融合问题。高学习率意味着反向传播应始终优先满足当前观察到的输入模式。

不幸的是，尝试将学习率调整为“完美价值”更像是一门艺术而非科学。当然有自适应学习速率值的实现，请参阅此tutorial from Willamette University。就个人而言，我刚刚使用了[0.03,0.1]范围内的静态学习率。