在具有多个输出神经元的神经网络中反向传播

Question

我目前正在关注构建神经网络的本教程http://stevenmiller888.github.io/mind-how-to-build-a-neural-network/。但我对反向传播部分感到困惑。如果有多个输出神经元，我该怎么办？因为那时可能有多个输出和误差范围

Delta output sum = S'(sum) * (output sum margin of error) Delta output sum = S'(1.235) * (-0.77) Delta output sum = -0.13439890643886018

Answer 1

神经网络的输出通常是一个载体（不止一个神经元）。一般来说，您应该做的是定义一个将输出向量映射到实数的损失函数。例如，MSE（均方误差）是一个简单的选择，它只使用第二范数（输出矢量和标签矢量之间的欧几里德距离）作为损耗值。 然后你可以在backprop期间像以前那样使用衍生物。现在唯一的区别是你现在应该采用向量函数的偏导数（多变量函数）。