没有权重变化,只有最后一个信条的偏见?

时间:2016-07-15 11:48:12

标签: machine-learning tensorflow

我得到了一个单文件python游戏,其中第一个数组中的像素应该在第二个数组中捕获(在他的数组中的相同位置)像素。我现在训练了几个小时和几个小时,神经网络中唯一的变化似乎是最后一个信条的偏见?我认为,大多数权重应该改变而不是偏见,或者?这个简单游戏的代码在这里:https://github.com/flobotics/flobotics_tensorflow_game/blob/master/pixel_hunter_game/flobotics_game.py

在这里我得到了张量板中重量和偏差的图片

weights and biases

enter image description here

1 个答案:

答案 0 :(得分:0)

似乎batch_norm不再存在,但是有batch_normalization?在我的情况下,这是一个正确的实现吗?

h_conv1 = tf.nn.relu(tf.nn.conv2d(input_layer, conv_weights_1, strides=[1, 4, 4, 1], padding="SAME") + conv_biases_1)

#batch normalization
bn_mean, bn_variance = tf.nn.moments(h_conv1,[0,1,2])
bn_scale = tf.Variable(tf.ones([32]))
bn_offset = tf.Variable(tf.zeros([32]))
bn_epsilon = 1e-3
bn_conv1 = tf.nn.batch_normalization(h_conv1, bn_mean, bn_variance, bn_offset, bn_scale, bn_epsilon)

#h_conv1 = tf.nn.relu(tf.nn.conv2d(input_layer, conv_weights_1, strides=[1, 4, 4, 1], padding="SAME") + conv_biases_1)
#h_pool1 = max_pool_2x2(h_conv1)
h_pool1 = max_pool_2x2(bn_conv1)