每个神经元的神经网络偏差

Question

我一直在关注神经网络上的Andrew NG的视频。在这些视频中，他并没有将偏见与每个神经元联系起来。相反，他在计算激活后在每一层的头部添加一个偏置单元，并使用此偏差和计算来计算下一层的激活（前向传播）。然而，在其他一些关于机器学习和https://www.youtube.com/watch?v=aVId8KMsdUU等视频的博客中，每个神经元都存在偏见。这种差异是什么以及为什么会产生什么影响？

Answer 1

这两种方法都代表了相同的偏见概念。对于每个单元（不包括输入节点），您可以计算前一层（在前馈网络情况下）向量加上标量偏差值的权重和激活点积的激活函数值：

 (w * a) + b

在Andrew Ng中，使用矢量化技巧计算此值，其中您将激活与指定的偏差常量（通常为1）连接并完成工作（因为此常量）对于不同的节点有自己的权重 - 所以这与每个节点有另一个偏差值完全一样。）

Answer 2

关于两者之间的区别，@ Marcin给出了很好的回答。

有趣的是，在他的DeepLearning.AI深度学习专长中， 安德鲁采用了与ML课程不同的方法（在该课程中，他对每个隐藏层都使用了一个偏差项），并将偏差与每个相关的神经元相关联。

尽管这两种方法都试图获得相同的结果，但在我看来，将偏倚与每个神经元相关联的方法更为明确，并且可以极大地帮助进行超参数调整，尤其是在处理大型神经网络架构（例如CNN，深度神经网络等。