我对批量标准化层并不完全熟悉。据我了解，它将使用小批量统计数据在训练时计算标准化。
当小批量大小非常小时，你们是否有使用这些层的经验（例如，对于小批量大小，每次迭代使用2或4个图像）？有没有理由不能有效地工作？
我的感觉是，在训练时非常小的样本计算统计数据，并且可能会对培训产生负面影响，你怎么看？
答案 0 :(得分：1)
你的直觉是你的样本可能与人口不同（小批量与所有样本），但这个问题在批量标准化论文中得到了解决。具体而言，在列车运行期间，您可以通过除以批量大小（N）来找到样本的方差，但在测试时间内，您可以通过使用无偏差方差估计（乘以N /（N-1））来解释此问题： 看看这里有一个更详细和易于理解的解释： Batch Normalization