您如何计算纯净神经网络中的偏差梯度？

Question

我很难在网上找到有关如何使用卷积神经网络中的偏差进行反向传播的资源。偏见是指将卷积加到每个数字上的数字。

Here is a picture further explaining

我知道如何计算滤波器权重的梯度，但不确定如何处理偏差。现在，我只是通过该层的平均误差对其进行调整。这是正确的吗？

Answer 1

它类似于标准神经网络中的偏差梯度，但在这里我们对所有带卷积输出的梯度求和：

其中L是损耗函数，w和h是conv输出的宽度和高度，是conv输出中没有损耗函数的梯度。

因此，b的梯度是通过对每个位置（w，h）w.r.t.损失函数L的所有卷积输出梯度求和而得出的。

希望这会有所帮助。