Question

根据A Guide to TF Layers，辍学图层位于最后一个密集图层之后：

dense = tf.layers.dense(input, units=1024, activation=tf.nn.relu)
dropout = tf.layers.dropout(dense, rate=params['dropout_rate'], 
                            training=mode == tf.estimator.ModeKeys.TRAIN)
logits = tf.layers.dense(dropout, units=params['output_classes'])

在密集图层之前更有意义吗？所以它通过dropout效果学习从输入到输出的映射？

dropout = tf.layers.dropout(prev_layer, rate=params['dropout_rate'], training=mode == dense = tf.layers.dense(dropout, units=1024, activation=tf.nn.relu) logits = tf.layers.dense(dense, units=params['output_classes'])

Answer 1

这不是一种情况。非正式地说，普通的智慧说在密集的层之后应用辍学，而不是在卷积或汇集之后应用辍学，所以乍一看这将取决于你的第二个prev_layer到底是什么代码段。

然而，现在这种“设计原则”经常被违反（参见Reddit＆amp; CrossValidated中的一些有趣的相关讨论）;即使在Keras中包含的MNIST CNN example中，我们也可以看到在最大池层之后和密集层之后都应用了丢失：

model = Sequential()
model.add(Conv2D(32, kernel_size=(3, 3),
                 activation='relu',
                 input_shape=input_shape))
model.add(Conv2D(64, (3, 3), activation='relu'))
model.add(MaxPooling2D(pool_size=(2, 2)))
model.add(Dropout(0.25)) # <-- dropout here
model.add(Flatten())
model.add(Dense(128, activation='relu'))
model.add(Dropout(0.5))  # <-- and here
model.add(Dense(num_classes, activation='softmax'))

因此，您的代码片段都是有效的，我们也可以轻松想象第三个有效选项：

dropout = tf.layers.dropout(prev_layer, [...])
dense = tf.layers.dense(dropout, units=1024, activation=tf.nn.relu)
dropout2 = tf.layers.dropout(dense, [...])
logits = tf.layers.dense(dropout2, units=params['output_classes'])

作为一般建议：您链接到的教程只是试图让您熟悉工具和（非常）一般原则，因此不建议“过度解释”所显示的解决方案......

在TensorFlow中，丢失层是在密集层之前还是之后？

1 个答案: