特征归一化 - l2归一化的优势

Question

特征通常在分类之前进行标准化。

L1和L2归一化通常用于文献中。

与L1规范（或L2规范）相比，是否可以评论L2规范（或L1规范）的优势？

Answer 1

L2超过L1规范的优势

• 正如aleju在评论中已经说过的那样，L2范数的推导很容易计算出来。因此，使用基于梯度的学习方法也很容易。
• L2正规化 优化平均成本（而L1减少中位数） explanation），通常用作绩效衡量标准。如果你知道你没有任何异常值并且想要保持整体误差很小，那就特别好。
• 解决方案更有可能是独一无二的。这与前一点有关：虽然均值是单个值，但中位数可能位于两点之间的区间，因此不是唯一的。
• 虽然L1正则化可以为您提供稀疏系数向量，但L2的非稀疏性可以提高您的预测性能（因为您利用更多功能而不是简单地忽略它们）。
• L2在旋转时是不变的。如果您有一个由空间中的点组成的数据集并且您应用了旋转，则仍会得到相同的结果（即点之间的距离保持不变）。

L1超过L2规范的优势

• L1范数更喜欢稀疏系数向量。 （explanation on Quora）这意味着L1规范执行特征选择，您可以删除系数为0的所有特征。几乎在所有情况下，缩小尺寸都很有用。
• L1范数优化中位数。因此，L1规范对异常值不敏感。

更多来源：

The same question on Quora

Another one

Answer 2

如果您正在处理反问题，则L1将返回更稀疏的矩阵，L2将返回更相关的矩阵。