CS231N第4讲后支柱 - 链条规则

时间:2017-05-27 07:07:01

标签: backpropagation

我相信这有一个简单的答案!我要求提高我的理解。

图表:CS231N Back Propagation的修改 Back Propagation Through Time

如果应用Cain规则获取Delta的Y,则根据图表,渐变将为:dy = -4

应用链规则表示法:df/dy = df/dq * dq/dy

在数值:

double x = -2;
double y = 5; 
double q = 3;
double z = -4;
double f = -12;

double df = 1;
double dz = 3;
double dq = -4;
double dy = df * dq; 
double dx = df * dq;

其中:df = df/df = 1如上所示,dq = df/dq = -4如上所示。因此:1(df) * -4(dq) = -4(dy)。或者我完全错了?

数值实际来自哪里,图中的位置?这是一个仅梯度数值链还是我们从其他输入值推导出来的?我在这里问的原因是因为在第48页,有一个有点令人困惑的代码示例: enter image description here

我正在查看(/)符号df/dy,作为一个部门,我认为这是错误的? df/dy = df/dq * dq/dy = 1/-4 * -4/-4 = 0.25 - 一个号码相对于另一个号码的目的是什么?

df/dy = dy它们是相同的东西,象征着dy的{​​{1}},意味着一个渐变流回来了吗?

道歉,我有些困惑。

1 个答案:

答案 0 :(得分:0)