卷积神经网络是否需要标准化输入？

Question

在比较两个标准化后，我已经训练了卷积神经网络

我发现简单的减去均值并除以标准方差比缩放到[0,1]更好，似乎在[0,1]中使用sigmoid函数不需要输入值的区间。

有人可以解释一下吗？

Answer 1

如果您正在使用逻辑回归来讨论NN，那么您是正确的，合适的sigmoid函数（或此上下文中的logistic function）将为您提供原始输入的[0,1]范围。

然而，当输入在零的任一侧的小范围内时，逻辑函数效果最好 - 例如，您对逻辑函数的输入可能是[-3，+ 3]。

首先将重新调整您的数据到[0,1]，您将展平任何基础分布并将所有数据移至零的正面，这不是后勤功能所期望的。因此， 会比标准化更糟糕（即减去均值并除以标准偏差，正如您所说）因为标准化步骤考虑了原始方差分布并确保均值为零，因此您可以获得逻辑函数的正数和负数数据。

在你的问题中，你说“比较两个标准化” - 我认为你误解了“标准化”意味着什么并且实际上将normalisation与重新标记进行比较，这是不同的。