我正在尝试使用tensorflow预测二进制输出。训练数据的输出大约有69%的零。输入要素是实值的,我通过减去均值并除以标准差来对它们进行归一化。每次我运行网络时,无论我尝试过哪种技术,我都无法获得高达69%的模型,看起来我的Yhat会收敛到全零。
我尝试了很多不同的优化器,损失函数,批量大小等等。但无论我做什么,它都会收敛到69%并且永远不会过去。我猜这里有一个比我做的更有趣的问题,但我似乎无法找到它。
这是我的代码的最新版本
X = tf.placeholder(tf.float32,shape=[None,14],name='X')
Y = tf.placeholder(tf.float32,shape=[None,1],name='Y')
W1 = tf.Variable(tf.truncated_normal(shape=[14,20],stddev=0.5))
b1 = tf.Variable(tf.zeros([20]))
l1 = tf.nn.relu(tf.matmul(X,W1) + b1)
l1 = tf.nn.dropout(l1,0.5)
W2 = tf.Variable(tf.truncated_normal(shape=[20,20],stddev=0.5))
b2 = tf.Variable(tf.zeros([20]))
l2 = tf.nn.relu(tf.matmul(l1,W2) + b2)
l2 = tf.nn.dropout(l2,0.5)
W3 = tf.Variable(tf.truncated_normal(shape=[20,15],stddev=0.5))
b3 = tf.Variable(tf.zeros([15]))
l3 = tf.nn.relu(tf.matmul(l2,W3) + b3)
l3 = tf.nn.dropout(l3,0.5)
W5 = tf.Variable(tf.truncated_normal(shape=[15,1],stddev=0.5))
b5 = tf.Variable(tf.zeros([1]))
Yhat = tf.matmul(l3,W5) + b5
loss = tf.reduce_mean(tf.nn.sigmoid_cross_entropy_with_logits(logits=Yhat, labels=Y))
learning_rate = 0.005
l2_weight = 0.001
learner = tf.train.AdamOptimizer(learning_rate).minimize(loss)
correct_prediction = tf.equal(tf.greater(Y,0.5), tf.greater(Yhat,0.5))
accuracy = tf.reduce_mean(tf.cast(correct_prediction, tf.float32))
答案 0 :(得分:0)
您使用的是持续丢失。
l3 = tf.nn.dropout(l3,0.5)
辍学只能在训练时使用,而不是在检查准确性或预测时使用。
keep_prob = tf.placeholder(tf.float32)
l3 = tf.nn.dropout(l3,keep_prob)
占位符在训练期间应给予适当的值,在测试/预测时应给予1。
您在每一层都有辍学,我不确定您是否需要为小型网络提供多少辍学。希望这有帮助
答案 1 :(得分:0)
计算correct_prediction
correct_prediction = tf.equal(tf.greater(Y,0.5), tf.greater(Yhat,0.5))
似乎Yhat
仍为logits,您应该使用sigmoid计算Y_pred
,并使用Y_pred
计算correct_prediction
Y_pred = tf.nn.sigmoid(Yhat)
correct_prediction = tf.equal(tf.greater(Y,0.5), tf.greater(Y_pred,0.5))