Question

我需要写一个非常简短的反向传播和梯度下降的定义，我有点困惑之间的区别。

以下定义正确吗？

为了计算神经元网络的权重，使用了反向传播算法。这是减少模型误差的优化过程。该技术基于梯度下降法。相反，从所有隐藏层到输入层的输出层计算每个权重对总误差的贡献。为此，计算误差函数E对w的偏导数。由此产生的梯度用于在最陡的设计方向上调整权重：

w_new = w_old - learning_rate* (part E / part w_old)

有什么建议或更正吗？

谢谢！

Answer 1

第一次梯度下降只是执行反向传播的一种方法，除此之外，您的定义是正确的。我们只是将生成的结果与期望值进行比较，并尝试更改分配给每个边的权重，以使误差尽可能小。如果更改后错误增加，它将恢复为先前的状态。您选择的学习率不能太低或太高，否则将分别导致梯度消失或梯度爆炸的问题，并且您将无法达到最小误差。