在神经网络中，偏差项是否有权重？

Question

我正在尝试编写自己的神经网络，但我不了解偏见术语。我知道一个神经元与另一个神经元的每个环节都有一个重量，但是一个偏差和它连接的神经元之间的联系也有一个重量吗？或者我能想到重量总是1并且永远不会改变吗？

由于

Answer 1

偏差项确实有权重，通常，你会为隐藏层中的每个神经元以及输出层中的神经元（压缩前）添加偏差。

看一下Artificial Neurons的基本结构，您会看到偏差被添加为wk0 = bk。有关更全面的示例，请参阅例如this link，包含公式以及多层NN的可视化。

有关权重选择的讨论，请参阅以下 stats.stackexchange 主题：

• https://stats.stackexchange.com/questions/47590/what-are-good-initial-weights-in-a-neural-network