神经网络：Dropout＆＃34; filter＆＃34;更新？

Question

我只有一个关于Dropout图层的一般问题。 Dropout＆＃34;过滤＆＃34;多久一次？更新？

对于每个训练样例？或者每个迷你批次？或者每个时代？

非常感谢

Answer 1

通常，对于每个训练样例。

来源1：来自slides的Standford CS231n: Convolutional Neural Networks for Visual Recognition：

来源2：http://www.deeplearningbook.org/ - 第7章：

  

每次我们将一个示例加载到一个小批处理中，我们   随机采样不同的二进制掩码，以应用于网络中的所有输入和隐藏单元。每个单元的掩码独立于所有其他单元进行采样

我希望每个小批量的更改也应该没问题。但是，我并不认为每个时代的变化都是一个好主意（特别是对于大型训练集）。