神经网络误差推导Sigmoid

时间:2018-08-10 01:34:58

标签: neural-network backpropagation sigmoid

在我的关于AI的书中写道,误差函数是(target-output)^ 2

d = Delta

W =体重

O =输出

T =目标

dE / Wa = dE / dOk * dOk / dWa

dE / dWa = -2 *(Tk-Ok)* dOk / dWa。 //这个减号从哪里来?

因此,派生必须为2 *(目标输出)。我不知道减号的来源。

1 个答案:

答案 0 :(得分:0)

我相信您也会忘记采用内部的派生方式。因为导数是输出的函数。因此,您还必须采用内部“ -output”的派生形式,我们可以将其想象为“ -x”。而导数就是-1。

因此,该函数实际上是(target-output)(-1)(2),其中(-1)来自(-output)的导数,(2)来自幂。

该网站介绍了该衍生工具的一些基本示例:

https://www.intmath.com/differentiation/7-derivative-powers-of-function.php

编辑:传统上,如果您只是在进行反向传播,则将梯度作为J的函数,因此实际上不应在此处出现负号。负号的唯一时间是将导数作为输出的函数。但是,我将对此进行进一步的研究。