有三种常见的图像数据标准化方法，即
1. X = (X - X.mean) / X.std
2. X /= 255. # (based on formula: (X - min) / (max - min) which can converge data into [0, 1].)
3. X = 2 * (X - min) / (max - min) - 1 # converge into [-1, 1]
我在不同的CNN教程或帖子中发现，人们可能会使用其中一个来规范化数据。但我对它们有点困惑，我应该如何在不同的情况下选择一个？
感谢您提前做出任何解释。
答案 0 :(得分：1)
从广义上讲，我们对图像进行标准化的原因是为了使模型更快地收敛。当数据未标准化时，网络的共享权重对于不同的特征具有不同的校准，这可以使得成本函数非常缓慢且无效地收敛。规范化数据使得成本函数更容易训练。
您选择哪种规范化方法取决于您正在处理的数据以及您对该数据所做的假设。所有上述三种归一化方法都基于两个思想，即居中和缩放。方法2.仅涉及将数据缩放到特定范围。这确保了各种特征的比例在相似的范围内，因此提供了稳定的梯度。方法1.涉及围绕平均数据点的数据居中，然后将数据点的每个维度除以其标准偏差，使得所有维度对于学习算法具有相同的重要性。当您有理由相信数据中的不同维度具有非常不同的范围时，此标准化更有效。将所有尺寸放在相同的范围内，从而使参数的共享有效。方法3也可以被看作是做方法1的sam工作。