在神经网络中,偏差是否应该具有动量项?

时间:2016-02-02 09:42:42

标签: neural-network momentum bias-neuron

是否应该将动量添加到网络中每个节点的偏差项中,或者最好只添加权重?

1 个答案:

答案 0 :(得分:5)

偏差和重量。如果你只是将它应用于权重,则偏差会滞后于权重,人为地增加误差并减慢收敛。

将偏见视为一个额外的权重 - 一个始终为1的额外输入。