神经网络偏差

Question

我正在构建一个前馈神经网络，我正在尝试决定如何实现偏差。我不确定两件事：

1）将偏差作为节点的特征而不是虚拟输入+重量是否有任何不利之处？

2）如果我将它作为虚拟输入实现，它是仅在第一层（从输入到隐藏层）输入，还是在每一层都需要虚拟输入？

谢谢！

P.S。我目前正在使用2D阵列来表示层之间的权重。其他实施结构的想法？这不是我的主要问题，只是在寻找可以考虑的食物。

Answer 1

1. 只要行为正确，实施无关紧要。

2. 是的，每一层都需要它。

3. 2d数组是一种方法。

我建议将偏差作为另一个具有常数输入1的神经元。这将使其更容易实现 - 您不需要为它或类似的任何特殊变量。