神经网络中的正则化

Question

如果像Relu这样的激活函数将节点的值设置为零，那么有必要在同一神经网络中使用dropout，而dropout也会随机敲除神经网络中的节点，因此同时使用两个relu都是有益的并在神经网络中一起辍学？

Answer 1

虽然这两种方法都将某些节点设置为0，但dropout将随机执行，而relu将根据输入进行操作，因此用法完全不同。丢包用于减少网络基于神经元的刚性结构（例如神经元）进行预测的可能性。它在决策过程中应包括尽可能多的神经元。这使其对噪声更鲁棒，因此泛化效果更好。 ReLU只是一个简单的激活功能，实际上可以很好地训练大型网络。

总而言之，是的，将它们一起使用是有意义的，并且可能能够减少过度拟合的情况。

Answer 2

“这是否有益……”是您真正需要问您的模型而不是我们的问题。 DL建模仍然是一门艺术，换句话说，就是智能反复试验。对于NN，没有通用的答案。但是，稍微了解一下它们的影响可以帮助您调整自己的研究。

拟人化的视图可以帮助您对大型NN中它们的操作有一个非常广泛的了解。这是我的工作解释。

ReLU 是用于训练内核的衰减的简单调整。从内核的角度来看，每个矩阵值都是一个有意义的度量：“我对这个矩阵元素有多兴奋？” ReLU是有助于集中关注下一层的规则。它说：“如果这个姿势很无聊，我不在乎多么。不要浪费时间调整自己的咆哮声；忽略它。”所有这些值都设置为0，从而使它们免于受到后续层的影响。进一步的培训仅取决于对中间特征的肯定识别。

退出是另一种哲学。它有助于保护模型免受错误的中间结论。它说：“让我们重新审视其中的一些事情；忘记一些您学到的东西，然后重新开始。”通用的概念是，如果某事是“真正的学习”，那么它受到输入和/或剩余学习的支持；我们将很快重新学习这些权重。如果这是输入混排或数据中的异常，则不太可能再次出现，并且将删除的权重用于更好的目的。