反向传播：更新第一个权重图层

Question

根据Andrew Ng关于反向传播（page 9）的说明，仅为隐藏层（n-1到2）计算增量值。然后累积这些增量并用于更新权重矩阵。

但是，注释没有提到如何更新第一层的权重矩阵。

1. 一般情况下，第一层的矩阵是否从未使用反向传播进行更新？
2. 是否更新了第一层的矩阵？

Answer 1

最终图层中的权重更新方式与后续权重图层的更新方式相同：

#Excerpt from my code at github
dW_matrix = -learning_rate * np.dot( delta, input_signals ).T
weight_matrix += dW_matrix

其中delta是在上面的图层中计算的增量。

将为图层计算增量：[1, ->]。无需计算层0的增量，因为没有其他层可以将增量传播到。权重始终更新（使用上面层中的增量）。