偏差到底是什么,是用于移动还是射击?

时间:2018-11-18 17:39:54

标签: machine-learning neural-network artificial-intelligence bias-neuron

我仍然不了解什么是偏见以及何时激活神经元。 所以现在我有一些问题。

什么时候会触发人工神经元?激活函数的结果为<0时,神经元是否也会触发?或者仅当正值时神经元才会触发?

据我所知,偏置应该改变激活功能。但.... 这应该如何工作?我不明白什么?

使用Bias的标准计算如下所示。
按重量乘以输入,然后加上偏差
所以我们有计算: x = a * w1 + b * w2 + c * w3 ..... +偏差
之后,应用激活功能。在此示例中,我们使用激活函数,S型函数: y = 1 /(1 + e ^(-x))。我们从上一步获得的x值。

但是,如果我以此方式进行操作,则不会发生任何移位。它只会影响神经元发射的强度/强度。

在其他视频中,我看到当使用偏差时,也可以触发ReLU函数中的负值(例如:weight + Bias-> -0.5 + 1),但是没有提到偏移功能。

在另一个视频/博客中,我再次看到Bias补充了激活功能。例如在sigmoid函数中: y = 1 /(1 + e ^(-x +偏差))

我现在完全对偏见感到困惑。我希望你能帮助我。

1 个答案:

答案 0 :(得分:1)

人工神经元(用于机器学习/人工神经网络)只能从生物神经元中获得启发。它们不会像生物神经元那样“发射”。相反,它们从输入向量(从输入数字到输出数字的映射)计算标量输出。偏置调整相对于输入的“灵敏度”,即,设置输出将位于其中的非线性函数的区域。它与“点火”或“点火率”无关,因为人工神经网络中没有点火。


要获得能够发射的模拟神经元,您需要从机器学习转向使用尖刺神经网络(SNN)的计算神经科学领域。这些生物神经元可以更准确地建模,在这里,每个神经元都有定义的触发时间,因此我们可以计算触发率等。

当一些研究人员将人工神经网络看作是人工神经网络的模型时,就产生了困惑(使用激发率捕获了神经活动的所有重要方面的假设)。然后,将人工神经元的活动解释为给定时间的“发射率”。这种解释既不是使用/理解人工神经网络所必需的,也没有共识可以证明其合理性。