机器学习中的归一化和正则化有什么区别

Question

正规化是规范化的一个子集吗？我知道当所有的值不在同一比例时使用归一化，但也使用归一化来降低值，正则化也是如此。那么两者之间的区别是什么？

Answer 1

Normalisation调整数据; regularisation调整预测函数。

如您所述，如果您的数据处于非常不同的比例（特别是从低到高的范围），您可能希望normalise数据：将每列更改为具有相同（或兼容）的基本数据统计数据，如标准差和均值。这有助于将您的拟合参数保持在计算机可以处理的范围内而不会损失精确度。

模型训练的一个目标是识别信号（重要特征）并忽略噪声（随机变化与分类无关）。如果您自由地给模型以最小化给定数据的误差，则可能会出现过度拟合：模型坚持要准确预测数据集，包括随机变化。

Regularisation通过奖励更复杂的拟合函数来对此进行一些控制。例如，它可以促使具有 x 的RMS误差的简单对数函数优于具有 x / 2 的误差的15度多项式。调整权衡取决于模型开发人员：如果您知道您的数据实际上相当平滑，您可以查看输出函数和拟合错误，并选择自己的余额。