在反向传播算法中更新权重

Question

我想我已经理解了反向传播算法的每一步，但最重要的一步。权重如何更新？就像在本教程结束时一样？ http://home.agh.edu.pl/~vlsi/AI/backp_t_en/backprop.html

Answer 1

权重更新是通过您提供的页面最后一部分（Backpropagation）写的等式完成的。 让我详细说明一下：

新权重=旧权重 - 学习率x损失函数的部分导数w.r.t.参数

对于给定的权重，计算（可以通过反向传播误差轻松完成），这只是函数最陡的方向，并减去它的缩放版本，比例因子是步长或您想要朝这个方向迈出多大步。 看一下你问这个问题的方式后，我觉得你可能需要一点澄清......

什么是反向传播？

反向传播只是一种快速评估损失函数w.r.t的偏导数的技巧。所有重量。它与体重更新无关。更新权重是梯度下降算法的一部分。