使用Sutskever技术用反向传播计算导数

Question

在Ilya Sutskever的"TRAINING RECURRENT NEURAL NETWORK"中，有以下技术用于计算前馈神经网络中反向传播的导数。

网络有隐藏层，l + 1个权重矩阵和b + 1个偏向量。

＆＃34;正向＆＃34;阶段：

＆＃34;向后＆＃34;阶段：

l + 1是否存在索引问题？例如，在前进阶段，我们计算z_l + 1但返回z_l。

（因为这是一篇如此重要的论文，我想我错过了什么）

Answer 1

没有问题，一些索引从0开始（例如变量z），有些从1开始（变量x）。按照更仔细的布局算法，尝试用手写出来，说l = 4。