应该插入Dropout。？完全连接层。？卷积层。？或两者。？

Question

我想获得有关应插入Dropout的位置的反馈意见？

它应该位于完全连接的层(Dense)还是卷积层？或两者。？

感谢您提前提供反馈。

Answer 1

通常，辍学仅限于完全连接的层，因为它们是参数数量较多的and，因此它们可能过度共同适应自身而导致过度拟合。

然而，由于它是一种随机正则化技术，你可以把它放在任何地方。通常，它被放置在具有大量参数的图层上，但是没有人拒绝您将其应用于卷积图层（相对于fc图层的参数数量较少）。

此外，应根据所需正则化的影响来改变丢弃概率。

根据经验，当应用于完全连接的层时，将保持概率（1 - 丢弃概率）设置为0.5，同时在应用于卷积层时将其设置为更大的数字（通常为0.8,0.9）。 / p>

请注意：因为在每个机器学习框架中，辍学都是以“倒置”版本实现的，所以你必须降低学习率，以克服辍学率给学习率带来的“提升”。 有关它的更全面的评估：https://pgaleone.eu/deep-learning/regularization/2017/01/10/anaysis-of-dropout/

Answer 2

Dropout只是一种用于防止网络中过度拟合的正则化技术。它在训练期间以给定概率将节点的权重设置为零，从而减少每次迭代时训练所需的权重数。它可以应用于网络的每一层（无论它是完全连接还是卷积），或者在选定的层之后。应用哪些层丢失实际上只是为了获得最佳性能的设计决策。

Answer 3

您可以选择放置Dropout的位置。我通常在Convolution之后使用，但你也可以将它与FC层一起使用。尝试不同的组合，以获得最佳效果。