我设置了一个非常简单的多层感知器，其中一个隐藏层使用了sigmoid传递函数，模拟数据有两个输入。
我尝试使用Github上的Simple Feedforward Neural Network using TensorFlow示例进行设置。我不会在这里发布所有内容，但我的成本函数设置如下：
# Backward propagation
loss = tensorflow.losses.mean_squared_error(labels=y, predictions=yhat)
cost = tensorflow.reduce_mean(loss, name='cost')
updates = tensorflow.train.GradientDescentOptimizer(0.01).minimize(cost)
然后我只是循环遍历一堆时代，意图是我的权重在每一步都通过updates操作进行优化：
with tensorflow.Session() as sess:
init = tensorflow.global_variables_initializer()
sess.run(init)
for epoch in range(10):
# Train with each example
for i in range(len(train_X)):
feed_dict = {X: train_X[i: i + 1], y: train_y[i: i + 1]}
res = sess.run([updates, loss], feed_dict)
print "epoch {}, step {}. w_1: {}, loss: {}".format(epoch, i, w_1.eval(), res[1])
train_result = sess.run(predict, feed_dict={X: train_X, y: train_y})
train_errors = abs((train_y - train_result) / train_y)
train_mean_error = numpy.mean(train_errors, axis=1)
test_result = sess.run(predict, feed_dict={X: test_X, y: test_y})
test_errors = abs((test_y - test_result) / test_y)
test_mean_error = numpy.mean(test_errors, axis=1)
print("Epoch = %d, train error = %.5f%%, test error = %.5f%%"
% (epoch, 100. * train_mean_error[0], 100. * test_mean_error[0]))
sess.close()
我希望此程序的输出显示在每个时期和每个步骤都会更新权重，loss值会随着时间的推移而大致减少。
然而，当我看到损失值和错误减少时，权重仅在第一步之后发生变化，然后在程序的其余部分保持固定。
这里发生了什么？
以下是在前两个时期内打印到屏幕的内容：
epoch 0, step 0. w_1: [[0. 0.]
[0. 0.]], loss: 492.525634766
epoch 0, step 1. w_1: [[0.5410637 0.5410637]
[0.5803371 0.5803371]], loss: 482.724365234
epoch 0, step 2. w_1: [[0.5410637 0.5410637]
[0.5803371 0.5803371]], loss: 454.100799561
epoch 0, step 3. w_1: [[0.5410637 0.5410637]
[0.5803371 0.5803371]], loss: 418.499267578
epoch 0, step 4. w_1: [[0.5410637 0.5410637]
[0.5803371 0.5803371]], loss: 387.509033203
Epoch = 0, train error = 84.78731%, test error = 88.31780%
epoch 1, step 0. w_1: [[0.5410637 0.5410637]
[0.5803371 0.5803371]], loss: 355.381134033
epoch 1, step 1. w_1: [[0.5410637 0.5410637]
[0.5803371 0.5803371]], loss: 327.519226074
epoch 1, step 2. w_1: [[0.5410637 0.5410637]
[0.5803371 0.5803371]], loss: 301.841705322
epoch 1, step 3. w_1: [[0.5410637 0.5410637]
[0.5803371 0.5803371]], loss: 278.177368164
epoch 1, step 4. w_1: [[0.5410637 0.5410637]
[0.5803371 0.5803371]], loss: 257.852508545
Epoch = 1, train error = 69.24779%, test error = 76.38461%
除了不改变之外，权重对于每一行具有相同的值也是有趣的。损失本身不断减少。这是最后一个时代的样子：
epoch 9, step 0. w_1: [[0.5410637 0.5410637]
[0.5803371 0.5803371]], loss: 13.5048065186
epoch 9, step 1. w_1: [[0.5410637 0.5410637]
[0.5803371 0.5803371]], loss: 12.4460296631
epoch 9, step 2. w_1: [[0.5410637 0.5410637]
[0.5803371 0.5803371]], loss: 11.4702644348
epoch 9, step 3. w_1: [[0.5410637 0.5410637]
[0.5803371 0.5803371]], loss: 10.5709943771
epoch 9, step 4. w_1: [[0.5410637 0.5410637]
[0.5803371 0.5803371]], loss: 10.0332946777
Epoch = 9, train error = 13.49328%, test error = 33.56935%
我在这里做错了什么？我知道权重正在某处更新，因为我可以看到培训和测试错误发生了变化，但为什么我看不到呢？
编辑：根据squadrick的请求，此处是w_1和y_hat的代码：
# Layer's sizes
x_size = train_X.shape[1] # Number of input nodes
y_size = train_y.shape[1] # Number of outcomes
# Symbols
X = tensorflow.placeholder("float", shape=[None, x_size], name='X')
y = tensorflow.placeholder("float", shape=[None, y_size], name='y')
# Weight initializations
w_1 = tensorflow.Variable(tensorflow.zeros((x_size, x_size)))
w_2 = tensorflow.Variable(tensorflow.zeros((x_size, y_size)))
# Forward propagation
h = tensorflow.nn.sigmoid(tensorflow.matmul(X, w_1))
yhat = tensorflow.matmul(h, w_2)
EDIT2： squadrick建议查看w_2很有意思;当我使用以下内容将w_2添加到打印语句时;
print "epoch {}, step {}. w_1: {}, w_2: {}, loss: {}".format(epoch, i, w_1.eval(), w_2.eval(), res[1])
我看到它确实更新了;
epoch 0, step 0. w_1: [[0. 0.]
[0. 0.]], w_2: [[0.22192918]
[0.22192918]], loss: 492.525634766
epoch 0, step 1. w_1: [[0.5410637 0.5410637]
[0.5803371 0.5803371]], w_2: [[0.44163907]
[0.44163907]], loss: 482.724365234
epoch 0, step 2. w_1: [[0.5410637 0.5410637]
[0.5803371 0.5803371]], w_2: [[0.8678319]
[0.8678319]], loss: 454.100799561
现在看起来问题是只有w_2正在更新，而不是w_1。我仍然不确定为什么会发生这种情况。
答案 0 :(得分：4)
使用以下代码将所有权重初始化为0：
# Weight initializations
w_1 = tensorflow.Variable(tensorflow.zeros((x_size, x_size)))
w_2 = tensorflow.Variable(tensorflow.zeros((x_size, y_size)))
这是有问题的，用较小的随机数初始化所有权重更为常见（例如，在您的原始github链接中完成）。更好的是Xavier initalization。
通常，将所有权重初始化为（值接近）0是有问题的，因为这会导致0的渐变和更新0的大小。如果您的网络涉及RELU或tanh激活功能，情况尤其如此。
有关反向传播背后的数学的详细信息，请参阅，例如this page。
如果我为你的具体案例计算出数学，似乎这不应该完全发生（除非我在某处犯了错误）。实际上，我们确实看到您的w_1权重会在0之后更新一次。让我们尝试计算3个前锋+后退传球：
a^(l) =图层l中的激活级别，e^(l) =图层l中的错误。
第一次转发：
a^(1) = X a^(2) = h = sigmoid(matmul(X, w_1)) = sigmoid(matmul(X, 0)) = 0.5 a^(3) = yhat = matmul(h, w_2) = matmul(0.5, 0) = 0 首先向后传递：
e^(3) = cost = reduce_mean(loss) * 1（此处* 1是输出图层激活功能的衍生物。）e^(2) = w_2 e^(3) * (a^(2) * (1 - a^(2))) = 0（(a^(2) * (1 - a^(2))这里是隐藏图层中sigmoid的衍生物。）w_2 <-- w_2 + learning_rate * a^(2) * e^(3)（没有0的乘法，非零的权重变化）w_1 <-- w_1 + learning_rate * a^(1) e^(2)（e^(2)此处为0，因此此步骤的权重不会发生变化。）第二次前传：
a^(1) = X a^(2) = h = sigmoid(matmul(X, w_1)) = sigmoid(matmul(X, 0)) = 0.5 a^(3) = yhat = matmul(h, w_2) =/= 0（不再0因为w_2已更新）第二次向后传递：
e^(3) = cost = reduce_mean(loss) * 1 e^(2) = w_2 e^(3) * (a^(2) * (1 - a^(2)))（不再0因为w_2已更新）。w_2 <-- w_2 + learning_rate * a^(2) * e^(3)（没有0的乘法，非零的权重变化）w_1 <-- w_1 + learning_rate * a^(1) e^(2)（现在也非零更新）。第三次前传：
a^(1) = X a^(2) = h = sigmoid(matmul(X, w_1)) = ??? a^(3) = yhat = matmul(h, w_2) = ??? 第三次向后传递：
e^(3) = cost = reduce_mean(loss) e^(2) = w_2 e^(3) * (a^(2) * (1 - a^(2))) w_2 <-- w_2 - learning_rate * a^(2) * e^(3) w_1 <-- w_1 - learning_rate * a^(1) e^(2) 现在看来，如果事情继续这样，那么w_1应该继续学习。也就是说，除非出现下列情况之一：
a^(2)在w_1更新一次后变为（非常接近）全零或全部如果查看a plot of the sigmoid curve，您会看到a^(2)（隐藏图层中的激活级别）可能确实接近0，如果matmul(X, w_1)的结果如果< -6的结果很高，则1}}很小（例如1），或者都接近matmul(X, w_1)。由于您的初始损失似乎相当高（大约490），我可以想象w_1的第一次更新的幅度太高，导致隐藏层几乎全为零或后续迭代中的所有一个。
尝试在h中打印值来尝试验证此假设可能很有用。最好的解决方案就是随机初始化所有权重，你还需要解决另一个问题（见答案的底部）。如果这里的假设是正确的，那么看看归一化输入和/或输出（你目前是否具有真正高绝对值的输入和/或输出？）和/或降低学习量可能也是一个好主意。 GradientDescentOptimizer的费率。
请注意，w_2权重的更新也存在问题。它们会更新，但所有权重始终具有相同的值。即使您设法获得非零梯度，因此有意义的更新，由于将所有这些权重初始化为完全相同的值，它们将始终获得完全相同的渐变，完全相同的更新，因此始终都保持完全相同相同。这就是为什么将所有权重初始化为0.01而不是0.0是不够的原因;它们都应该以不同方式（随机）进行初始化。