Question

如果我的第一层神经元的权重不变，可以吗？

我在Tensorflow的MNIST网络上，我试图在“推理”功能中获得神经元的权重：

def inference(images, hidden1_units, hidden2_units):

    weights = []

    # Hidden 1
    with tf.name_scope('hidden1'):
        weights.append(tf.Variable( tf.truncated_normal([IMAGE_PIXELS, hidden1_units], stddev=1.0 / math.sqrt(float(IMAGE_PIXELS)))))
        biases = tf.Variable(tf.zeros([hidden1_units]))
        hidden1 = tf.nn.relu(tf.matmul(images, weights[0]) + biases)

    # Hidden 2
    with tf.name_scope('hidden2'):
        weights.append(tf.Variable(tf.truncated_normal([hidden1_units, hidden2_units],stddev=1.0 / math.sqrt(float(hidden1_units)))))
        biases = tf.Variable(tf.zeros([hidden2_units]))
        hidden2 = tf.nn.relu(tf.matmul(hidden1, weights[1]) + biases)

    # Linear
    with tf.name_scope('softmax_linear'):
        weights.append(tf.Variable(tf.truncated_normal([hidden2_units, NUM_CLASSES],stddev=1.0 / math.sqrt(float(hidden2_units)))))
        biases = tf.Variable(tf.zeros([NUM_CLASSES]))
        logits = tf.matmul(hidden2, weights[2]) + biases
    return weights, logits

我创建了一个数组，其中我放置了权重的数组。

我像这样打印我的数组：

print_weights(sess.run(poids))

其中print_weights是

def print_weights(poids):
    for i in range(len(poids)):
        print('--  + str(i) + ' --')
        print(poids[i])

直到这里，一切都很好。但是我在开始和结束时都显示了权重，第一层神经元的权重没有变化。

BEGINNING

-- 0 --

[[ 0.03137168  0.03483023]
 [ 0.01353009  0.00035462]
 [ 0.02957422 -0.01347954]
 ..., 
 [-0.04083598  0.02377481]
 [-0.05120984  0.00143244]
 [-0.01799158 -0.02219945]]

-- 1 --

[[ 0.68714064]
 [ 0.30847442]]

-- 2 --

[[ 0.87441564  0.09957008 -0.58042473  1.34084558 -0.46372819 -0.19947429
  -1.46314788 -0.59285629  0.72775543 -0.69785988]]


END

-- 0 --

[[ 0.03137168  0.03483023]
 [ 0.01353009  0.00035462]
 [ 0.02957422 -0.01347954]
 ..., 
 [-0.04083598  0.02377481]
 [-0.05120984  0.00143244]
 [-0.01799158 -0.02219945]]

-- 1 --

[[-1.16852498]
 [-0.27643263]]

-- 2 --

[[ 0.98213464  0.12448452 -0.36638314  0.47689819 -0.42525211 -0.13292283
  -1.29118276 -0.49366322  0.74673325 -0.57575113]]

正如你所看到的，秒和三分之一的重量阵列发生了变化，但不是第一次，我不知道为什么...... 有人可以帮我吗？谢谢！

Answer 1

我将您的代码包装在训练工具中并毫无问题地运行它。

我认为这里的问题不是你的代码，而是结果的解释。 Numpy通过显示第一对和最后几对元素，以您显示的方式总结大型数组。（poids列表的元素为np.array。）

你所看到的是，前几个和最后几个重量元素没有变化，但你的结论是整个矩阵没有改变 - 但它是！

尝试使用此作为摘要方法（打印均值和标准差而不是仅仅几个元素）：

def print_weights(poids):
  for i in range(len(poids)):
    print('-- ' + str(i) + ' --')
    print(np.mean(poids[i]),np.std(poids[i]))

Tensorflow第一层神经元的权重不会改变

1 个答案: