反向传播计算的神经网络问题

Question

我目前正在建立一个简单的神经网络，以使用MNIST数字数据库来识别书面数字。当我运行第一个测试时，在输出数组中会得到随机的概率分类，这是预期的。但是，当我多次运行它时，我的输出数组在所有索引位置几乎都下降为零。似乎我向后传播的权重调整计算引起了问题，但我似乎找不到原因。

def sigmoid(x):
    a = 1 / (1 + np.exp(-x))
    return a

def sigmoid_derivative(x):
    return x * (1 - x)

def train(n, inputs):
    input_layer = inputs
    weights1 = 2 * np.random.random ((784 , 16)) - 1
    weights2 = 2 * np.random.random ((16 , 10)) - 1

    for i in range(n):
        trained_hidden = sigmoid(np.dot(input_layer, weights1))
        trained_outputs = sigmoid(np.dot(trained_hidden, weights2))

        o_error = (outputs - trained_outputs)
        o_adjustments = o_error * sigmoid_derivative(trained_outputs)

        h_error = np.dot(o_adjustments, weights2.T)
        h_adjustments = h_error * sigmoid_derivative(trained_hidden)

        w1 = np.dot(input_layer.T, h_adjustments)
        w2 = np.dot(trained_hidden.T, o_adjustments)

        weights1 += w1
        weights2 += w2

    return trained_outputs

我正在使用Numpy数组，输入是灰度值为0-1的（10000 x 784）数组，并在实际数字的索引位置将其输出为（10000 x 10）数组，其值为1。 / p>

x_train, t_train, x_test, t_test = mnist.load()

inputs = x_test/256

outputs = np.zeros((10000,10), dtype=int)

for i in range(10000):
    x = t_test[int(i)]
    outputs[i][x] = 1

set = train(10, inputs)

我已经使用了许多资源来构建它，包括来自3 blue 1 brown神经网络系列的理论，以及紧随其后的代码（此处提供的示例（https://enlight.nyc/projects/neural-network/）

编辑：按照@ 9000的建议，此处是一个示例中每个步骤的打印输出。看结果看起来像w1（权重调整计算）是问题，但是一遍又一遍地看，我无法弄清楚为什么它是不正确的，对您有所帮助。

编辑2：我在第二次训练中包含了同一示例的第二份打印输出。

首次运行

trained_hidden [0.87880514 0.4789476  0.38500953 0.00142838 0.01373613 0.37572408 0.53673194 0.11774215 0.99989426 0.0547656  0.20645864 0.85484692 0.99903171 0.88929566 0.00673453 0.03816501]

trained_output [0.33244312 0.26289407 0.79917376 0.95143406 0.90780616 0.2100068 0.66253735 0.57961972 0.28231436 0.15963378]

o_error [ 0.66755688 -0.26289407 -0.79917376 -0.95143406 -0.90780616 -0.2100068 -0.66253735 -0.57961972 -0.28231436 -0.15963378]

o-adjustment [ 0.14814735 -0.05094382 -0.12826344 -0.04396319 -0.07597805 -0.03484096 -0.14813117 -0.14123055 -0.05720055 -0.02141501]

h_error [-0.00359599  0.18884347  0.15954247 -0.14839811  0.2081496  -0.01152563 0.03262859 -0.46315722 -0.06974061 -0.46774417 -0.00690463 -0.44303219 -0.16267084 -0.02505235 -0.12866526  0.22212537]

h_adjustment [-3.82997246e-04  4.71271721e-02  3.77760172e-02 -2.11665993e04 2.81989626e-03 -2.70339996e-03  8.11312465e-03 -4.81122794e02 -7.37327102e-06 -2.42134002e-02 -1.13120886e-03 -5.49730579e-02 -1.57359939e-04 -2.46637616e-03 -8.60664795e-04  8.15387570e-03]

w1 [0. 0. 0. 0. 0. 0. 0. 0. 0. 0. 0. 0. 0. 0. 0. 0.]

w2 [-111.70644608 -164.50671691 -254.60942018 -205.06537232 -330.43317768 -94.6976 -346.78221607 -272.22044431 -249.54889015  -75.99543441]

weights1 [-0.09535479 -0.09824519 -0.11582134 -0.65075843 -0.65593035  0.77593957 -0.0406199 0.12669151  0.79979191 -0.52502487 -0.2433578 0.16617536 -0.25711996  0.92995152 -0.40922601 -0.63029133]

weights2 [-112.24597022 -164.86741004 -254.21715269 -205.27326963 -331.18579697 -95.07615178 -347.04311247 -271.82206581 -250.04075852  -76.69273265]

第二次运行

trained_hidden [0.00000000e+000 1.00000000e+000 1.00000000e+000 3.77659154e-181 1.00000000e+000 0.00000000e+000 0.00000000e+000 0.00000000e+000 1.00000000e+000 0.00000000e+000 1.00000000e+000 0.00000000e+000 2.71000625e-055 0.00000000e+000 0.00000000e+000 1.00000000e+000]

trained_output [0. 0. 0. 0. 0. 0. 0. 0. 0. 0.]

o_error [1. 0. 0. 0. 0. 0. 0. 0. 0. 0.]

o-adjustment [0. 0. 0. 0. 0. 0. 0. 0. 0. 0.]

h_error [0. 0. 0. 0. 0. 0. 0. 0. 0. 0. 0. 0. 0. 0. 0. 0.]

h_adjustment [0. 0. 0. 0. 0. 0. 0. 0. 0. 0. 0. 0. 0. 0. 0. 0.]

w1 [0. 0. 0. 0. 0. 0. 0. 0. 0. 0. 0. 0. 0. 0. 0. 0.]

w2 [0. 0. 0. 0. 0. 0. 0. 0. 0. 0.]

weights1 [-0.09535479 -0.09824519 -0.11582134 -0.65075843 -0.65593035  0.77593957 -0.0406199   0.12669151  0.79979191 -0.52502487 -0.2433578   0.16617536 -0.25711996  0.92995152 -0.40922601 -0.63029133]

weights2 [-112.24597022 -164.86741004 -254.21715269 -205.27326963 -331.18579697 -95.07615178 -347.04311247 -271.82206581 -250.04075852  -76.69273265]

Answer 1

首先，您确定权重1和权重2的打印输出正确吗？在两次运行之间它们是相同的，但输出却非常不同，对我来说似乎很可疑。

我稍微检查了一下您的派生工具，从我的研究中，它们看起来是正确的。但是，我看到两个错误。更新权重时，您实际上想从权重中精简。由于坡度始终指向上坡，并且您要最小化损失，因此您要沿下坡方向行驶。第二个可能的错误是您使用全导数作为更新，基本上总是在神经网络中，如果您不按比例缩小学习率（例如0.001），该学习率将用作更新导数的乘数。更新前的渐变，可能会很难克服，例如将所有权重都设置为非常大的值，这会导致非常不稳定的优化。

所以我的建议是替换：

weights1 += w1
weights2 += w2

具有：

learning_rate = 0.001
weights1 -= w1 * learning_rate
weights2 -= w2 * learning_rate

此外，调试神经网络的一般经验法则是使用网络应适合的最小示例，因此从数据集中选择一个样本并查看每次迭代中的更新，这将告诉您很多信息（例如，使用调试器）。如果您无法容纳一个示例，那么您就不能容纳10000。