请参阅下面的代码。
x = tf.placeholder("float", [None, 80])
W = tf.Variable(tf.zeros([80,2]))
b = tf.Variable(tf.zeros([2]))
y = tf.nn.softmax(tf.matmul(x,W) + b)
y_ = tf.placeholder("float", [None,2])
所以在这里我们看到数据中有80个特征，只有2个可能的输出。我设置cross_entropy和train_step就像这样。
cross_entropy = tf.nn.softmax_cross_entropy_with_logits(tf.matmul(x, W) + b, y_)
train_step = tf.train.GradientDescentOptimizer(0.01).minimize(cross_entropy)
初始化所有变量。
init = tf.initialize_all_variables()
sess = tf.Session()
sess.run(init)
然后我用这段代码来训练＆＃34;我的神经网络。
g = 0
for i in range(len(x_train)):
_, w_out, b_out = sess.run([train_step, W, b], feed_dict={x: [x_train[g]], y_: [y_train[g]]})
g += 1
print "...Trained..."
在训练网络后，无论我训练多少次，它始终都会产生相同的准确率。准确率为0.856067，我可以通过此代码获得准确率 -
correct_prediction = tf.equal(tf.argmax(y,1), tf.argmax(y_,1))
accuracy = tf.reduce_mean(tf.cast(correct_prediction, "float"))
print sess.run(accuracy, feed_dict={x: x_test, y_: y_test})
0.856067
所以这就是问题所在。问题是因为我的尺寸太小了吗？也许我应该将功能分解为10x8矩阵？也许4x20矩阵？等
然后我尝试将实际测试数据的概率产生0或1，如此 -
test_data_actual = genfromtxt('clean-test-actual.csv',delimiter=',') # Actual Test data
x_test_actual = []
for i in test_data_actual:
x_test_actual.append(i)
x_test_actual = np.array(x_test_actual)
ans = sess.run(y, feed_dict={x: x_test_actual})
并打印出概率：
print ans[0:10]
[[ 1. 0.]
[ 1. 0.]
[ 1. 0.]
[ 1. 0.]
[ 1. 0.]
[ 1. 0.]
[ 1. 0.]
[ 1. 0.]
[ 1. 0.]
[ 1. 0.]]
（注意：有时会产生[ 0. 1.]。）
然后我试着看看应用专家方法是否会产生更好的结果。请参阅以下代码。
def weight_variable(shape):
initial = tf.truncated_normal(shape, stddev=0.1)
return tf.Variable(initial)
def bias_variable(shape):
initial = tf.constant(0.1, shape=shape)
return tf.Variable(initial)
def conv2d(x, W):
return tf.nn.conv2d(x, W, strides=[1, 1, 1, 1], padding='SAME')
def max_pool_2x2(x):
return tf.nn.max_pool(x, ksize=[1, 1, 1, 1],
strides=[1, 1, 1, 1], padding='SAME')
（请注意我如何更改strides以避免错误。）
W_conv1 = weight_variable([1, 80, 1, 1])
b_conv1 = bias_variable([1])
这是问题再次出现的地方。我将Tensor（矢量/矩阵，如果你愿意）定义为80x1（所以1行中有80个特征）;我会在其余代码中继续这样做（请参阅下文）。
x_ = tf.reshape(x, [-1,1,80,1])
h_conv1 = tf.nn.relu(conv2d(x_, W_conv1) + b_conv1)
第二个卷积层
h_pool1 = max_pool_2x2(h_conv1)
W_conv2 = weight_variable([1, 80, 1, 1])
b_conv2 = bias_variable([1])
h_conv2 = tf.nn.relu(conv2d(h_pool1, W_conv2) + b_conv2)
h_pool2 = max_pool_2x2(h_conv2)
密集连接的图层
W_fc1 = weight_variable([80, 1024])
b_fc1 = bias_variable([1024])
h_pool2_flat = tf.reshape(h_pool2, [-1, 80])
h_fc1 = tf.nn.relu(tf.matmul(h_pool2_flat, W_fc1) + b_fc1)
降
keep_prob = tf.placeholder("float")
h_fc1_drop = tf.nn.dropout(h_fc1, keep_prob)
读数
W_fc2 = weight_variable([1024, 2])
b_fc2 = bias_variable([2])
y_conv=tf.nn.softmax(tf.matmul(h_fc1_drop, W_fc2) + b_fc2)
在上文中，您会看到我将输出定义为2个可能的答案（也是为了避免错误）。
然后cross_entropy和train_step。
cross_entropy = tf.nn.softmax_cross_entropy_with_logits(tf.matmul(h_fc1_drop, W_fc2) + b_fc2, y_)
train_step = tf.train.AdamOptimizer(1e-4).minimize(cross_entropy)
correct_prediction = tf.equal(tf.argmax(y_conv,1), tf.argmax(y_,1))
accuracy = tf.reduce_mean(tf.cast(correct_prediction, "float"))
开始会话。
sess.run(tf.initialize_all_variables())
＆＃34;列车＆＃34;神经网络。
g = 0
for i in range(len(x_train)):
if i%100 == 0:
train_accuracy = accuracy.eval(session=sess, feed_dict={x: [x_train[g]], y_: [y_train[g]], keep_prob: 1.0})
train_step.run(session=sess, feed_dict={x: [x_train[g]], y_: [y_train[g]], keep_prob: 0.5})
g += 1
print "test accuracy %g"%accuracy.eval(session=sess, feed_dict={
x: x_test, y_: y_test, keep_prob: 1.0})
test accuracy 0.929267
而且，它再一次产生0.929267作为输出。
产生0或1的实际数据的概率如下：
[[ 0.92820859 0.07179145]
[ 0.92820859 0.07179145]
[ 0.92820859 0.07179145]
[ 0.92820859 0.07179145]
[ 0.92820859 0.07179145]
[ 0.92820859 0.07179145]
[ 0.96712834 0.03287172]
[ 0.92820859 0.07179145]
[ 0.92820859 0.07179145]
[ 0.92820859 0.07179145]]
如您所见，这些概率存在一些方差，但通常只有相同的结果。
我知道这不是一个深度学习问题。这显然是一个训练问题。我知道每次重新初始化变量和重新训练网络时，训练准确性总会有一些差异，但我不知道它出错的原因或地点。
答案 0 :(得分：1)
答案是2折。
尺寸/参数存在一个问题。另一个问题是这些功能被放置在错误的位置。
W_conv1 = weight_variable([1, 2, 1, 80])
b_conv1 = bias_variable([80])
请注意weight_variable中的前两个数字对应于输入的尺寸。后两个数字对应于特征张量的维度。 bias_variable始终采用weight_variable中的最终数字。
第二个卷积层
W_conv2 = weight_variable([1, 2, 80, 160])
b_conv2 = bias_variable([160])
这里前两个数字仍然对应于输入的尺寸。后两个数字对应于80个先前特征产生的特征量和加权网络。在这种情况下，我们将加权网络加倍。 80x2 = 160。 bias_variable然后获取weight_variable中的最终数字。如果此时要完成代码，weight_variable中的最后一个数字将为1，以防止由于输入张量和输出张量的形状引起的尺寸误差。但是，为了更好的预测，让我们添加第三个卷积层。
第三个卷积层
W_conv3 = weight_variable([1, 2, 160, 1])
b_conv3 = bias_variable([1])
再一次，weight_variable中的前两个数字采用输入的形状。第三个数字对应于我们在第二个卷积层中建立的加权变量的数量。 weight_variable中的最后一个数字现在变为1，因此我们不会在我们预测的输出上遇到任何维度错误。在这种情况下，输出的尺寸为1, 2。
W_fc2 = weight_variable([80, 1024])
b_fc2 = bias_variable([1024])
在这里，神经元的数量是1024，它完全是任意的，但weight_variable中的第一个数字需要是我们的特征矩阵的维度需要被整除的东西。在这种情况下，它可以是任何数字（例如2, 4, 10, 20, 40, 80）。 bias_variable再次使用weight_variable中的最后一个数字。
此时，请确保h_pool3_flat = tf.reshape(h_pool3, [-1, 80])中的最后一个数字与W_fc2 weight_variable中的第一个数字相对应。
现在，当您运行训练计划时，您会发现结果有所不同，并且不会总是猜测所有的1或全部0。
当您想要预测概率时，您必须将x提供给softmax变量 - ＆gt; y_conv=tf.nn.softmax(tf.matmul(h_fc2_drop, W_fc3) + b_fc3)喜欢这样 -
ans = sess.run(y_conv, feed_dict={x: x_test_actual, keep_prob: 1.0})
您可以更改keep_prob变量，但将其保持在1.0始终会产生最佳效果。现在，如果你打印出ans，你会看到这样的东西 -
[[ 0.90855026 0.09144982]
[ 0.93020624 0.06979381]
[ 0.98385173 0.0161483 ]
[ 0.93948185 0.06051811]
[ 0.90705943 0.09294061]
[ 0.95702559 0.04297439]
[ 0.95543593 0.04456403]
[ 0.95944828 0.0405517 ]
[ 0.99154049 0.00845954]
[ 0.84375167 0.1562483 ]
[ 0.98449463 0.01550537]
[ 0.97772813 0.02227189]
[ 0.98341942 0.01658053]
[ 0.93026513 0.06973486]
[ 0.93376994 0.06623009]
[ 0.98026556 0.01973441]
[ 0.93210858 0.06789146]
注意概率是如何变化的。您的培训现在正常运作。