我昨天发布了一个question关于XOR运算符的反向传播神经网络问题。我做了一些工作,并意识到这可能与没有偏见神经元有关。
我的问题是,偏倚神经元的作用一般是什么,它在识别XOR算子的反向传播神经网络中的作用是什么?是否有可能创建一个没有偏见神经元?
答案 0 :(得分:6)
有可能创建一个没有偏置神经元的神经网络...它可以正常工作,但是为了获得更多信息,我建议你看看这个问题的答案:
Role of Bias in Neural Networks
<强>更新强>
试图求解模型XOR的神经网络中偏置神经元的作用是最小化神经网络的大小。通常,对于“原始”(不确定这是否是正确的术语)逻辑函数,例如AND
,OR
,NAND
等,您正在尝试使用2创建神经网络输入神经元,2个隐藏神经元和1个输出神经元。这不能用于XOR
,因为您可以为XOR
建模的最简单方法是使用两个NAND
:
您可以将A
和B
视为您的输入神经元,中间的门是您的“偏置”神经元,后面的两个门是您的“隐藏”神经元,最后您有输出神经元。您可以在没有偏向神经元的情况下解决XOR
,但是需要将隐藏神经元的数量增加到最少3个隐藏神经元。在这种情况下,第3神经元基本上充当偏倚神经元。这是另一个讨论与XOR
:XOR problem solvable with 2x2x1 neural network without bias?