我们在神经网络中有权重和优化器。
为什么我们只是W *输入然后应用激活，估计损失并最小化它？
为什么我们需要做W *输入+ b？
感谢您的回答！
答案 0 :(得分：9)
有两种方法可以考虑为什么偏差在神经网络中有用。第一个是概念性的，第二个是数学的。
神经网络受到生物神经元的松散启发。基本的想法是人类神经元需要一堆输入并且＆＃34;添加＆＃34;他们在一起。如果输入的总和大于某个阈值，那么神经元将“触发”＃34; （产生一个输出到其他神经元）。这个阈值与偏差基本相同。因此，通过这种方式，人工神经网络中的偏差有助于复制真实的人类神经元的行为。
考虑偏差的另一种方法是简单地考虑任何线性函数，y = mx + b。让我们假设您使用y近似某些线性函数z。如果z具有非零z截距，并且y的等式中没有偏差（即y = mx），则y永远不能完全拟合z。同样，如果您网络中的神经元没有偏差项，那么您的网络可能更难以逼近某些功能。
所有这一切，你不需要＆＃34;需要＆＃34;神经网络中的偏见 - 事实上，最近的发展（如批量归一化）使得卷积神经网络中的偏差变得更少。