反向传播 - 神经元误差如何影响净参数（重量，偏差）

Question

虽然我试图深入学习，但我找不到一个细节 - ＆gt;当我在每个神经元上出现错误时（在反向传播流程中），接下来应该对所有错误做些什么。模型的校准是关于调整权重和偏差。但是我得到的每一门课程并没有说明计算出的误差如何影响权重。 另一个问题是 - 如果我再次执行EACH训练示例的反向传播，那么每个神经元误差如何影响我的网络的整体权重（对于所有训练示例都是如此）。

我将非常感谢你的帮助

Answer 1

  

虽然我试图深入学习，但我找不到一个细节 - ＆gt;当我在每个神经元上出现错误时（在反向传播流程中），接下来应该对所有错误做些什么。

这不完全正确，您的输出有一个损失函数，通常与某个标签进行比较。这方面的一个例子就是经典的MSE。

你有你的错误功能，你基本上是根据调整不同神经元的权重到输出错误。如果你采用误差函数的导数/梯度并分解为链规则，你可以看到如何调整每个神经元。请查看此链接以获取详细说明 - https://brilliant.org/wiki/backpropagation/。

  

另一个问题是 - 如果我为每次训练执行反向传播＆gt;示例......再次，每个神经元错误如何影响我的网络的整体权重＆gt;（这对于所有训练示例都是通用的）。

通常，每个批次的示例都会执行反向传播。我建议阅读stoachistic梯度下降，以了解为什么调整批次的神经元权重对整个训练集仍然有效。