我是新手..我不明白为什么我们在MLP中使用阈值和偏差(Multi-Layer Perceptron
)??阈值,偏见的作用是什么......我不知道公式输出(我们使用激活函数后的结果,如sigmoid)遵循偏差和阈值。在同一文档中,我看到:
output_value=activation_function(summing_function+threshold) (follow Jeff Heaton)
output_value=activation_function(summing_function-threshold)(follow my teacher)
output_value=activation_function(summing_function+bias) (no problem!)
哪个是正确的?请给我回复!
并且,偏差和阈值可以在MLP中同时存在
答案 0 :(得分:2)
偏见和阈值是相同的概念,简单来说 - 同一事物有两个不同的名称。符号无关紧要,因为偏见既可以是正面的也可以是负面的(但更常见的是使用 +偏见)。
用最简单的术语表示 - 如果没有偏见,那么仅输入0
,您就会获得summing_function=0
,因此output_value=0
也是{{1}}激活函数穿过原点)。因此,您的网络无法了解此类信号的任何其他行为,因为只有整个模型的更改部分为权重。
从更多的数学角度来看 - 这有助于转移激活功能并为神经网络提供通用逼近器功能。