张量流中的简单softmax分类器

Question

所以我试图在TensorFlow中编写一个简单的softmax分类器。

以下是代码：

# Neural network parameters
n_hidden_units = 500
n_classes = 10

# training set placeholders
input_X = tf.placeholder(dtype='float32',shape=(None,X_train.shape[1], X_train.shape[2]),name="input_X")
input_y = tf.placeholder(dtype='int32', shape=(None,), name="input_y")

# hidden layer
dim = X_train.shape[1]*X_train.shape[2] # dimension of each traning data point
flatten_X = tf.reshape(input_X, shape=(-1, dim))
weights_hidden_layer = tf.Variable(initial_value=np.zeros((dim,n_hidden_units)), dtype ='float32')
bias_hidden_layer = tf.Variable(initial_value=np.zeros((1,n_hidden_units)), dtype ='float32')
hidden_layer_output = tf.nn.relu(tf.matmul(flatten_X, weights_hidden_layer) + bias_hidden_layer)

# output layer
weights_output_layer = tf.Variable(initial_value=np.zeros((n_hidden_units,n_classes)), dtype ='float32')
bias_output_layer = tf.Variable(initial_value=np.zeros((1,n_classes)), dtype ='float32')
output_logits = tf.matmul(hidden_layer_output, weights_output_layer) + bias_output_layer
predicted_y = tf.nn.softmax(output_logits)

# loss
one_hot_labels = tf.one_hot(input_y, depth=n_classes, axis = -1)
loss = tf.losses.softmax_cross_entropy(one_hot_labels, output_logits)

# optimizer
optimizer = tf.train.MomentumOptimizer(0.01, 0.5).minimize(
    loss, var_list=[weights_hidden_layer, bias_hidden_layer, weights_output_layer, bias_output_layer])

这个编译，我检查了所有张量的形状，它与我期望的一致。

但是，我尝试使用以下代码运行优化器：

# running the optimizer
s = tf.InteractiveSession()
s.run(tf.global_variables_initializer())
for i in range(5):
    s.run(optimizer, {input_X: X_train, input_y: y_train})
    loss_i = s.run(loss, {input_X: X_train, input_y: y_train})
print("loss at iter %i:%.4f" % (i, loss_i))

在所有迭代中，损失保持不变！

我一定搞砸了什么，但我看不清楚。

有什么想法吗？如果有人留下关于代码风格和/或张量流提示的评论，我也很感激。

Answer 1

你犯了一个错误。您正在使用np.zeros初始化权重。使用np.random.normal。您可以通过使用特定神经元的输入数量为此高斯分布选择mean。您可以阅读更多相关信息here。

您想要使用高斯分布进行初始化的原因是您想要破坏对称性。如果所有权重都由zero初始化，那么您可以使用反向传播来查看所有权重的演变是否相同。

Answer 2

可以使用TensorBoard显示重量直方图，使其更容易。我执行了你的代码。设置Tensorboard记录需要更多行，但可以轻松添加权重的直方图摘要。

初始化为零

weights_hidden_layer = tf.Variable(initial_value=np.zeros((784,n_hidden_units)), dtype ='float32')
tf.summary.histogram("weights_hidden_layer",weights_hidden_layer)

Xavier初始化

initializer = tf.contrib.layers.xavier_initializer()
weights_hidden_layer = tf.Variable(initializer(shape=(784,n_hidden_units)), dtype ='float32')
tf.summary.histogram("weights_hidden_layer",weights_hidden_layer)