使您自己的神经网络反向传播

Question

我正在阅读《制作自己的神经网络》一书，在作者描述反向传播的章节中，我发现自己很困惑。我想将作者的解释方式与一个示例相关联，在该示例中，他显示了一个2节点，3层网络，如下图所示：

如果我构造上述神经网络的矩阵表示形式以进行反向传播，它将看起来像这样：

其中W ^T _{hidden_​​output} 是输入权重的矩阵转置，因此矩阵的详细表示为：

因此，如果我现在要计算隐藏的错误（e _{1_hidden} 和e _{2_hidden} ），我将得到以下信息：

  

e _{1_hidden} = W ₁₁ * e ₁ + W ₁₂   * e ₂

     

e _{2_hidden} = W ₂₁ * e ₁ + W ₂₂   * e ₂

但是，如果我应用示例中给出的值，其中e ₁ = 1.5且e ₂ = 0.5，则不会得到e _{1_hidden} = 0.7和e _{2_hidden} = 1.3

我的理解/计算哪里出问题了？有帮助吗？

Answer 1

您所描述的错误反向传播仅基于乘以链接权重，而图片将错误按比例分配给链接权重。两种差异均在例如在this webpage上：

在图片中，您看到错误按与链接权重的比例分配，例如根据W ₁₁ = 1.0和W ₂₁ = 3.0的权重，将e ₁ = 1.5分为0.6和0.9。 （请注意，由于只有W ₁₁ ，而其他所有均由W ₁₂ 表示，因此权重的下标在图片中也是错误的。）

然后将此拆分错误添加到隐藏层的最终错误中，例如：

e _隐藏1 = 0.6 + 0.1 = 0.7。