我仍然不了解什么是偏见以及何时激活神经元。 所以现在我有一些问题。
什么时候会触发人工神经元?激活函数的结果为<0时,神经元是否也会触发?或者仅当正值时神经元才会触发?
据我所知,偏置应该改变激活功能。但.... 这应该如何工作?我不明白什么?
使用Bias的标准计算如下所示。
按重量乘以输入,然后加上偏差
所以我们有计算:
x = a * w1 + b * w2 + c * w3 ..... +偏差
之后,应用激活功能。在此示例中,我们使用激活函数,S型函数:
y = 1 /(1 + e ^(-x))。我们从上一步获得的x值。
但是,如果我以此方式进行操作,则不会发生任何移位。它只会影响神经元发射的强度/强度。
在其他视频中,我看到当使用偏差时,也可以触发ReLU函数中的负值(例如:weight + Bias-> -0.5 + 1),但是没有提到偏移功能。
在另一个视频/博客中,我再次看到Bias补充了激活功能。例如在sigmoid函数中: y = 1 /(1 + e ^(-x +偏差))
我现在完全对偏见感到困惑。我希望你能帮助我。
答案 0 :(得分:1)
人工神经元(用于机器学习/人工神经网络)只能从生物神经元中获得启发。它们不会像生物神经元那样“发射”。相反,它们从输入向量(从输入数字到输出数字的映射)计算标量输出。偏置调整相对于输入的“灵敏度”,即,设置输出将位于其中的非线性函数的区域。它与“点火”或“点火率”无关,因为人工神经网络中没有点火。
要获得能够发射的模拟神经元,您需要从机器学习转向使用尖刺神经网络(SNN)的计算神经科学领域。这些生物神经元可以更准确地建模,在这里,每个神经元都有定义的触发时间,因此我们可以计算触发率等。
当一些研究人员将人工神经网络看作是人工神经网络的模型时,就产生了困惑(使用激发率捕获了神经活动的所有重要方面的假设)。然后,将人工神经元的活动解释为给定时间的“发射率”。这种解释既不是使用/理解人工神经网络所必需的,也没有共识可以证明其合理性。