Question

我使用initial value上的softmax函数训练和评估了TF的第一个例子，结果与预期的一样大约为92％。但是，我想在每次迭代时看到权重和偏差。

查看代码，我看到在每次迭代时都初始化为零，这可能不是一种有效的初始化方法：

W = tf.Variable(tf.zeros([784, 10]))
b = tf.Variable(tf.zeros([10]))

另一个问题是建议用一个小的stddev截断它们：

W = tf.Variable(tf.truncated_normal([784, 10],stddev=0.001))
b = tf.Variable(tf.truncated_normal([10],stddev=0.001))

我也以这种方式测试过，但在两种情况下，权重都没有变化（第一种情况全为零，第二种情况为非零），偏差只是正在变化的偏差。

MWE：

print "Iteration:", '%04d' % (iteration + 1), "cost=", "{:.9f}".format(avg_cost)
print "Bias: ", b.eval()
print "Weights: ", W.eval()

这是前几张照片的结果：

Iteration: 0001 cost= 29.819621965
Bias:  [-0.38608965  0.36391538  0.1257894  -0.25784218  0.0603136   1.46654773
 -0.11613362  0.62797612 -1.63218892 -0.25228417]
Weights:  [[ 0.  0.  0. ...,  0.  0.  0.]
 [ 0.  0.  0. ...,  0.  0.  0.]
 [ 0.  0.  0. ...,  0.  0.  0.]
 ..., 
 [ 0.  0.  0. ...,  0.  0.  0.]
 [ 0.  0.  0. ...,  0.  0.  0.]
 [ 0.  0.  0. ...,  0.  0.  0.]]
Iteration: 0003 cost= 20.975814890
Bias:  [-0.71424055  0.5187394   0.24631855 -0.44207239 -0.07629333  2.24541211
 -0.20360497  1.08866096 -2.26480484 -0.39810511]
Weights:  [[ 0.  0.  0. ...,  0.  0.  0.]
 [ 0.  0.  0. ...,  0.  0.  0.]
 [ 0.  0.  0. ...,  0.  0.  0.]
 ..., 
 [ 0.  0.  0. ...,  0.  0.  0.]
 [ 0.  0.  0. ...,  0.  0.  0.]
 [ 0.  0.  0. ...,  0.  0.  0.]]

有趣的是，我在张量表查看器中看到了一些非零重量：
MNIST

有人可以解释为什么我会看到这种行为和不匹配吗？我想在TensorFlow中看到每个图层的权重（在这种情况下我们只有一个）并检查它们的值。

Answer 1

当我们打印一个numpy数组时，只会打印初始值和最后一个值，并且在MNIST的情况下，这些权重指数不会更新，因为图像中的相应像素保持不变，因为所有数字都写在数组的中心部分或图像中没有沿边界地区。从一个输入样本到另一个输入样本变化的实际像素是中心像素，因此只有那些相应的权重元素才会得到更新。要比较训练前后的权重你可以使用numpy.array_equal（w1，w2）或者，你可以通过执行以下操作打印整个numpy数组：import numpy numpy.set_printoptions（threshold =＆＃39; nan＆＃39;）或者，你可以逐个元素地比较，并且只打印那些相差一定阈值的数组值

MNIST样本中的所有权重均为零（不变）

1 个答案: