Bishop的书是否意味着单位神经元在反向传播中为自己提供食物？

Question

我刚刚阅读了Bishop书的模式识别和机器学习，我阅读了关于反向传播的第5.3章，它在他的书中说，在一般的前馈网络中，每个单元计算其输入的加权和形式为$$\a_j=\sum\limits_{i}w_{ji}z_i$$@

然后，本书说上述方程中的和由非线性激活函数$h(.)$转换，以$z_j$形式给出单位$j$的激活$$z_j=h(a_j)$$。 / p>

我认为符号在某种程度上是尴尬的，假设我想计算$a_2$，那么 $$a_2=w_{21}z_1+w_{2,2}z_2+\dots$$

那么这意味着$$a_2=w_{21}z_1+w_{2,2}h(a_2)+\dots$$意味着神经元$a_2$与自身相连？

如果我错了，请纠正我。

Answer 1

你错了，但我同意使用的符号有一些简单的问题。棘手的一点是总和超过我，但他从未声称它是自然数的总和。换句话说，在使用的每个等式中，他都省略了一组索引，它们表示哪些神经元连接到哪一个，它应该是类似sum_{i \in set_of_neurons_connected_to(j)}的东西，显然它并不暗示任何自循环，除非你指定这样的图形。这种符号在ML中非常常见，不仅仅在Bishop书中。

Answer 2

否，神经元未连接至自身。如果您参考的是5.3.2中的示例，尤其是公式（5.62-64），则此混淆来自您正在阅读浅层网络这一事实。如果添加一个层并计算z_ {j + 1}，您将看到这次x_ {i}的确是z_ {j}。