为什么最后一层的偏差分布总是接近对称？

Question

我正在尝试训练一个非常简单的模型，第一层是完全连接，而输出层则输出2个代表不同类别的值。

  def inference(self, features_pl):
    tensor_dict = {}
    # Define a scope for reusing the variables
    with tf.variable_scope("cnn"):
      layer1_output = tf.layers.dense(features_pl,
                                      512,
                                      activation=tf.nn.relu,
                                      kernel_initializer=tf.truncated_normal_initializer(mean=0.01, stddev=0.001),
                                      bias_initializer=tf.zeros_initializer(),
                                      name="layer1")
      logits = tf.layers.dense(layer1_output,
                               2,
                               activation=None,
                               kernel_initializer=tf.truncated_normal_initializer(mean=0.01, stddev=0.001),
                               bias_initializer=tf.zeros_initializer(),
                               name="output_layer")

我发现输出层的值（内核+偏差）总是看起来对称。

我已经在模型中打印了权重，内核和偏差之和非常接近初始值，同时我们可以看到张量板上的分布发生了很大变化。

这里有人有类似的经历吗？