具有快捷连接的神经网络反向传播算法

Question

我目前正在F＃中实现多层感知器，我将实现标准的反向传播算法，但我想知道如何修改算法来处理快捷方式连接。 快捷方式连接是指跳过层的连接，例如，将输入层直接与输出层连接的连接。

谢谢！

Answer 1

如果您的nn中没有快捷方式，并且它是标准前馈，则表示每个输入都经过每个层，路径长度相同。您可以一步一步地逐层进行，然后反向并调整权重。虽然你可能知道，为什么我这样说呢？

这是因为NN与快捷方式的接近几乎是相同的......几乎。你将逐层进行，然后再回来。但是，两种不同的神奇存在于两层中。

更复杂的是，对于在两层中平行的那个神经元的操作顺序肯定存在一些差异。前馈和后向传播。

所以答案不准确，你需要开发算法处理层的计算顺序。 我能想象的最简单的解决方案就是像往常一样。一层又一层（在此算法中，一个神经元将在循环中达到更多次）。