输入层是否应包含偏置神经元？

Question

我想知道：在多层前馈神经网络中，输入层是否应包含偏置神经元，或者这在隐藏层中是否有用？如果是这样，为什么？

谢谢你，
Tunnuz

Answer 1

不，输入层不需要连接偏置神经元，因为从偏置神经元接收的任何激活都会被实际输入完全覆盖。

例如，假设一个试图解决经典XOR problem的网络，使用这种架构（其中标记为1的神经元是偏见）：

要在输入（1,0）上运行此网络，您只需钳制神经元X1 = 1和X2 = 0的激活。现在，如果X1或X2也从偏置接收到输入，那么无论如何都会覆盖该输入，从而使这种连接毫无意义。