也许这是一个愚蠢的问题,但这种怀疑实际上是禁止我理解反向传播。
所以我正在阅读并试图理解Backpropagation维基百科的文章。它表明差异是E=(t-y)^2
,然后是:
然而,神经元的输出取决于其所有输入的加权和:
y=x1w1 + x2w2
不应该y=phi(x1w1 + x2w2)
吗?
如果y = phi(x1w1 + x2w2)
不是差异与权重的关系图,它应该是一个阶梯函数,其中一个权重部分返回最小值而其余部分不返回(因为某些权重组合返回) 0
和另一个1
,其中只有一个答案是正确的)
答案 0 :(得分:1)
好的,我理解你为什么这么想,但是' y'是输入和输出只取决于它,如果你想找到输出,它很简单,你只需要通过激活函数phi应用它,在这种情况下我认为我们应该使用phi因为逻辑函数(S形曲线)使我们在绘制代表随时间变化的图形的图形时更容易理解。
那么让我们来看看你所说的功能,y = phi(x1w1 + x2w2),我们知道phi = 1 /(1 + e ^( - z)),所以我们可以混合两个方程以找到输出(o): o = 1 /(1 + e ^( - (x1 * w1 + x2 * w2)))。
完美,现在如果你想发现这是一个阶梯函数,我们可以应用一些微积分并使用连续性定理。
如果需要,激活功能是可区分的(这是一个持续的功能),以确保您可以找到错误的偏导数。并且知道这一点,我们可以说因为phi是连续的并且(x1 * w1 + x2 * w2)是一个多项式函数(也是继续),我们的最终函数' o'这是一个持续的功能。