激活函数的权重范围是多少？

Question

我正在创建自己的神经网络，并想知道权重与激活函数的关系。我编写了logistic和tanh激活函数，并想知道附加到各个神经元的权重是否必须与每个函数不同。现在我的逻辑激活函数的权重范围从0到1，tanh为-1到1.

Answer 1

为什么要限制重量？我觉得你在某个地方搞糊涂了。这就是确定神经元输出的方式：

var output = ActivationFunction(every(connection.weight * connection.from.output) + bias)

因此，对所有传入的权重及其源值进行求和，添加偏差，并将其传递给激活函数。

是，sigmoid限制在0和1之间。但是为什么你会因此限制你的体重？权重的值与激活函数无关。

将权重限制在如此小的范围内（0到1是一个微不足道的范围）会使您的网络无法解决某些模式。