特征规范化

Question

在统计数据中，我们几乎没有做过特征规范化。我们在需要时将协变量集中在一起，但不进行规范化。在机器学习中，特别是深度学习特征归一化是至关重要的。为什么它在某些应用中很重要，但在其他应用中却不重要。

Answer 1

对于机器学习方法，缩放很重要，因为它会影响目标函数的计算。

例如，许多算法使用欧氏距离进行分类，如果您的某个特征值比其他特征大得多，它将占据距离，因此您获得的预测将仅受此唯一特征的影响。

缩放还有助于梯度下降（许多算法中使用的方法，以最小化误差函数）收敛得更快。 SVM也可以通过标准化值更快地训练。

总之，将所有值放在相同的比例上有助于计算。我猜测为什么它在机器学习中如此重要而在统计学上不那么必要，因为机器学习算法通常具有多次迭代的循环。在每次迭代中，值＆＃34;超出规模＆＃34;影响越来越大，主宰模特。另一方面，统计方法没有这些循环，因此缩放不会对它产生影响。