Question

根据此链接，keep_prob的值必须介于（0,1）之间： Tensorflow manual

否则我会得到价值错误：

ValueError: If keep_prob is not in (0, 1] or if x is not a floating point tensor.

我将以下代码用于具有一个隐藏层的简单神经网络：

n_nodes_input = len(train_x.columns) # number of input features
n_nodes_hl = 30     # number of units in hidden layer
n_classes = len(np.unique(Y_train_numeric)) 
lr = 0.25
x = tf.placeholder('float', [None, len(train_x.columns)])
y = tf.placeholder('float')
dropout_keep_prob = tf.placeholder(tf.float32)

def neural_network_model(data, dropout_keep_prob):
    # define weights and biases for all each layer
    hidden_layer = {'weights':tf.Variable(tf.truncated_normal([n_nodes_input, n_nodes_hl], stddev=0.3)),
                      'biases':tf.Variable(tf.constant(0.1, shape=[n_nodes_hl]))}
    output_layer = {'weights':tf.Variable(tf.truncated_normal([n_nodes_hl, n_classes], stddev=0.3)),
                    'biases':tf.Variable(tf.constant(0.1, shape=[n_classes]))}
    # feed forward and activations
    l1 = tf.add(tf.matmul(data, hidden_layer['weights']), hidden_layer['biases'])
    l1 = tf.nn.sigmoid(l1)
    l1 = tf.nn.dropout(l1, dropout_keep_prob)
    output = tf.matmul(l1, output_layer['weights']) + output_layer['biases']

    return output

def main():
    prediction = neural_network_model(x, dropout_keep_prob)
    cost = tf.reduce_mean(tf.nn.sigmoid_cross_entropy_with_logits(labels=y,logits=prediction))
    optimizer = tf.train.AdamOptimizer(lr).minimize(cost)

    sess = tf.InteractiveSession()

    tf.global_variables_initializer().run()
    for epoch in range(1000):
        loss = 0
        _, c = sess.run([optimizer, cost], feed_dict = {x: train_x, y: train_y, dropout_keep_prob: 4.})
        loss += c

        if (epoch % 100 == 0 and epoch != 0):
            print('Epoch', epoch, 'completed out of', 1000, 'Training loss:', loss)
    correct = tf.equal(tf.argmax(prediction,1), tf.argmax(y,1))
    accuracy = tf.reduce_mean(tf.cast(correct, tf.float32), name='op_accuracy')

    writer = tf.summary.FileWriter('graph',sess.graph)
    writer.close()

    print('Train set Accuracy:', sess.run(accuracy, feed_dict = {x: train_x, y: train_y, dropout_keep_prob: 1.}))
    print('Test set Accuracy:', sess.run(accuracy, feed_dict = {x: test_x, y: test_y, dropout_keep_prob: 1.}))
    sess.close()


if __name__ == '__main__':
     main()

如果我在sess.run中使用范围（0,1）中的dropout_keep_prob中的数字，则精度会急剧下降。如果我使用大于1的数字，如4，则精度超过0.9。一旦我在tf.nn.dropout（）前面使用shift + tab，这就是描述的一部分：

With probability `keep_prob`, outputs the input element scaled up by
`1 / keep_prob`, otherwise outputs `0`.  The scaling is so that the expected
sum is unchanged.

在我看来keep_prob必须大于1，否则什么都不会丢弃！

底线，我很困惑。辍学的哪一部分我实施错误，我的结果变得越来越糟糕，什么是keep_drop的好数字？

谢谢

Answer 1

在我看来keep_prob必须大于1，否则什么都不会丢弃！

描述说：

以概率keep_prob输出按比例缩放的输入元素 1 / keep_prob，否则输出0。缩放是预期的总和不变。

这意味着：

keep_prob用作概率，因此根据定义，它应始终位于[0, 1]中（超出该范围的数字永远不会是概率）
概率keep_prob，输入元素乘以1 / keep_prob。由于我们刚刚写了0 <= keep_prob <= 1，因此1 / keep_prob除非1.0总是大于1.0（如果keep_prob == 1，则恰好keep_prob。因此，概率为1 - keep_prob时，某些元素将变得比没有辍学的元素更大
概率0（＆＃34;否则＆＃34;在说明中），元素设置为0。这是辍学，如果设置为keep_prob，则会删除元素。如果将1.0设置为0，则意味着丢弃任何节点的概率变为keep_prob < 1。因此，如果您想删除某些节点，则应设置keep_prob = 1，如果您不想删除任何内容，请设置UNIQUE。

重要提示：您只想在培训期间使用dropout，而不是在测试期间使用dropout。

如果我在sess.run中使用dropout_keep_prob范围（0,1）中的数字，则精度会急剧下降。

如果您为测试集执行此操作，或者您的意思是要在训练集上报告准确性，那并不会让我感到惊讶。辍学意味着丢失信息，因此确实会失去准确性。它应该是一种正规化的方式;你有意在训练阶段失去准确性，但希望这会导致改进的泛化，从而提高测试阶段的准确性（当你不再使用辍学时）。

如果我使用大于1的数字，如4，则精度超过0.9。

我很惊讶你得到这个代码。基于source code，我不希望它运行？

drop_prob值在退出中并且在退出时获得最差结果

1 个答案:

drop_prob值在​​退出中并且在退出时获得最差结果

1 个答案:

drop_prob值在退出中并且在退出时获得最差结果