如何更新反向传播中的批量权重

Question

梯度下降算法如何更新反向传播方法中的批量权重？

提前致谢...

Answer 1

一旦理解了算法，这真的很容易。

New Weights = Old Weights - learning-rate x Partial derivatives of loss function w.r.t. parameters

让我们考虑一个具有两个输入，两个隐藏神经元，两个输出神经元的神经网络。

首先，为您的网络引入权重和偏见。然后，计算隐藏层的总净输入，如此

net_{h1} = w_1 * i_1 + w_2 * i_2 + b_1 * 1

对所有其他隐藏层执行相同操作。

接下来，我们现在可以使用平方误差函数计算每个输出神经元的误差，并将它们相加以得到总误差。

在下文中，您将必须计算相对于先前权重的总网络错误的偏导数，以找出每个权重如何影响网络。我已经包含了一个视觉来帮助你理解。

我强烈建议你通过这个beginner friendly introduction to back-propagation来牢牢掌握这个概念。我希望我的初学者帖子可以帮助您开始机器学习之旅！