为反向传播算法增加动量

Question

为了加快学习过程，动量项将添加到权重更新规则中。

      W_deltaJI(n) = LR * error(J) * InputIJ + momentum*W_deltaJI(n-1) 

下面，

是否需要为每个训练数据包累积W_deltaJI（n）？

Answer 1

我假设你的意思是模式集上的每个训练周期。

如果你想做一些像批量反向传播这样的动力，那么答案就是肯定的。您将累积权重矩阵并在每个周期结束时应用动量项。这对于庞大而复杂的数据集可能是有效的。

正常动量项训练每个周期动态更新W_deltaJI（n）。因此，对于神经网络学习目的，您不需要累积。