在神经网络中，偏差是否会改变激活函数的阈值？

Question

我已经阅读了一些关于此问题的其他问题（及相关答案），但我仍有疑问：是否会在阈值激活函数中添加偏差会改变阈值？据我所知，添加偏差应该沿着x轴移动激活函数，因此它也应该改变阈值。

假设我们只有一个输入节点和一个输出节点，输入节点有一个阈值激活函数，阈值设置为0.现在，如果我们给1作为输入，神经元将激活并返回{{1输出节点，但如果我们添加一个权重为2的偏置节点1 * weight，连接到输入节点，并给出前一个输入1，神经元将不再激活，因为现在我们已经达到至少2来激活它。这可以被视为“改变”门槛吗？

Answer 1

您是否已阅读有关偏见的这些非常好的解释：bias explanation和bias explanation 2？

正如在第一个链接中所说的那样，偏差会使曲线偏移，因此计算结果会更加变化。我想如果你已经使用了偏差，你就不需要使用阈值（将阈值设置为0），因为偏差和阈值都会沿着x轴移动激活函数做同样的事情。

但我认为偏见比门槛更有效。这是因为偏差值只是权重，可以像神经网络中的任何其他权重一样计算。阈值除了权重之外还需要单独的计算。在encog forum中有一些有趣的偏见和阈值比较。

这是一个用偏差计算的神经网络：

这是阈值

两者都会给出相同的结果。如果您对完整计算感兴趣，可以阅读上面的encog wiki。

所以我认为你的问题的答案“确实存在偏差改变激活函数的阈值”是肯定的。在我关于混合GA和NN的论文中，我尝试了两种方法，最后只使用偏差并将阈值设置为0.

我希望我的回答可以帮到你，但如果你对我的回答有其他疑问，可以在评论中随意提问:)