神经网络中的阈值和偏差

时间:2013-08-21 09:09:10

标签: machine-learning neural-network

我是新手..我不明白为什么我们在MLP中使用阈值和偏差(Multi-Layer Perceptron)??阈值,偏见的作用是什么......我不知道公式输出(我们使用激活函数后的结果,如sigmoid)遵循偏差和阈值。在同一文档中,我看到:

output_value=activation_function(summing_function+threshold) (follow Jeff Heaton)
output_value=activation_function(summing_function-threshold)(follow my teacher)
output_value=activation_function(summing_function+bias) (no problem!)

哪个是正确的?请给我回复!

并且,偏差和阈值可以在MLP中同时存在

1 个答案:

答案 0 :(得分:2)

MLP中的

偏见阈值是相同的概念,简单来说 - 同一事物有两个不同的名称。符号无关紧要,因为偏见既可以是正面的也可以是负面的(但更常见的是使用 +偏见)。

用最简单的术语表示 - 如果没有偏见,那么仅输入0,您就会获得summing_function=0,因此output_value=0也是{{1}}激活函数穿过原点)。因此,您的网络无法了解此类信号的任何其他行为,因为只有整个模型的更改部分为权重

从更多的数学角度来看 - 这有助于转移激活功能并为神经网络提供通用逼近器功能。