在神经网络中添加辍学的地方？

Question

我已经看到有关神经网络不同部分中的丢失的描述：

1. 在权重矩阵中删除

2. 在矩阵乘法之后和relu之前隐藏层中的丢失，

3. 在relu之后隐藏层中的丢失，

4. 并且在softmax函数之前的输出分数中退出

我对应该在哪里执行辍学感到有点困惑。有人可以帮忙详细说明吗？谢谢！

Answer 1

所以：

1. 您描述的第一个用法称为辍学权重。
2. 您描述的第二个和第三个用法是相同的，它们通常被描述为在激活时的退出。人们可能很容易注意到，当整个行（或列 - 取决于实现）被关闭时，它可以用权重下降来表示。
3. 在第四种情况下，它不适合使用dropout - 你想要使用dropout的图层是输出层 - 所以在那里使用dropout并不是最好的主意。