为什么我们在应用渐变下降之前必须反向传播错误？

Question

当我看这些笔记时：

我对第四步感到困惑。当梯度下降已经计算出来时，我们为什么要单独计算误差。那么，我们不会两次计算反向传播错误吗？

由于

Answer 1

错误未计算两次。例如，在我的实现中，在步骤4期间，我将对应于神经元的错误存储在与该神经元相关联的变量中。在第5步中，我使用此变量来计算渐变并更新权重。

我的实现需要对神经元进行两次复查，对于步骤4和步骤5.但似乎只能回顾它们一次，反向传播神经元的误差并在同一循环迭代中计算梯度。并且在更新权重之前要小心反向传播错误，因为旧权重用于计算前一层中神经元的错误。