前向传播vs.前进通行证

Question

我看到一些文件称前向传递和其他文件说前向传播。

这两个词是否意思相同？

Answer 1

是的，它们通常意味着同样的事情，有一些小的语言警告。

具体地，在典型的基于反向传播的神经网络训练中，有两个主要步骤，即前向传递和后向传递。在正向传递期间，变量通过网络向前传播，而在反向传递中，错误通过网络向后传播。

Answer 2

使用基于梯度的方法训练神经网络。要做到这一点，您需要根据每个参数计算损失函数的偏导数。为此，您需要首先计算给定参数当前值的损失函数值，然后通过使用链规则的归纳性质，计算导数，这次从损耗层开始。这两个术语用于相同的值计算操作，因此它们在神经网络的上下文中具有相同的含义。正向传递也用于隐马尔可夫模型，有时用于它们的推理算法。但是很难将它们混合在一起，应该从上下文中理解算法的含义。