Question

下面是神经网络反向传播的正向传递和部分实现的反向传递：

import numpy as np

def sigmoid(z):
    return 1 / (1 + np.exp(-z))

X_train = np.asarray([[1,1], [0,0]]).T
Y_train = np.asarray([[1], [0]]).T

hidden_size = 2
output_size = 1
learning_rate = 0.1

    forward propagation

w1 = np.random.randn(hidden_size, 2) * 0.1
b1 = np.zeros((hidden_size, 1))
w2 = np.random.randn(output_size, hidden_size) * 0.1
b2 = np.zeros((output_size, 1))

Z1 = np.dot(w1, X_train) + b1
A1 = sigmoid(Z1)

Z2 = np.dot(w2, A1) + b2
A2 = sigmoid(Z2)

derivativeA2 = A2 * (1 - A2)
derivativeA1 = A1 * (1 - A1)

    first steps of back propagation

error = (A2 - Y_train)
dA2 = error / derivativeA2
dZ2 = np.multiply(dA2, derivativeA2)

背后的直觉是什么：

error = (A2 - Y_train)
dA2 = error / derivativeA2
dZ2 = np.multiply(dA2, derivativeA2)

我理解错误是当前预测A2与实际值Y_train之间的差异。

但为什么要将此错误除以A2的导数，然后将error / derivativeA2的结果乘以derivativeA2？这背后的直觉是什么？

Answer 1

这些表达确实令人困惑：

derivativeA2 = A2 * (1 - A2)
error = (A2 - Y_train)
dA2 = error / derivativeA2

...因为error本身并没有意义。此时，目标是计算交叉熵损失的导数，其具有以下公式：

dA2 = (A2 - Y_train) / (A2 * (1 - A2))

有关推导，请参阅these lecture notes（公式6）。恰好前一个操作是sigmoid，其衍生物是A2 * (1 - A2)。这就是为什么再次使用这个表达式来计算dZ2（公式7）的原因。

但是如果你有不同的损失函数（比如L2）或不同的挤压层，那么A2 * (1 - A2) 就不会被重用。这些是计算图中的不同节点。

反向传播的直觉

1 个答案: