基于imagenet训练数据集中图像的均值和标准差进行标准化意味着什么？

Question

在CheXNet论文中实施的密集网络模型，在3.1节中提到：

在将图像输入网络之前，我们将图像缩小为224x224，并根据ImageNet训练集中图像的平均和标准偏差进行标准化。

1. 为什么我们要用不同数据集的均值和标准来规范化新的图像集？
2. 我们如何获得ImageNet数据集的均值和标准值？是在某处提供的吗？

Answer 1

减去平均值将输入中心设为0，除以标准差使得任何缩放特征值都是远离平均值的标准偏差数。

考虑神经网络如何学习其权重。 C（NN）通过在训练样例通过时不断地将反向传播计算的梯度误差向量（乘以学习速率）学习到整个网络中的各种权重矩阵来学习。

这里要注意的是“乘以学习率”。

如果我们没有缩放我们的输入训练向量，我们的每个要素的特征值分布范围可能会有所不同，因此学习率会导致每个维度的修正（按比例说）与一个维度不同另一个。我们可能过度补偿一个重量维度的修正，而另一个重量补偿不足。

这是非理想的，因为我们可能会发现自己处于振荡状态（无法在成本（权重）空间中更好的最大值）或缓慢移动（行进太慢以达到更好的最大值）状态。

原帖：https://stats.stackexchange.com/questions/185853/why-do-we-need-to-normalize-the-images-before-we-put-them-into-cnn

Answer 2

他们使用ImageNet训练集的mean和std dev，因为他们的模型的权重是在ImageNet上预先训练的（参见本文的模型架构和训练部分）。