为什么在线性回归中添加特征会降低准确性？

Question

我是ML的新手，我正在参加一个讨价还价的比赛，以便学习一点。当我向数据集添加某些功能时，准确性会降低。

为什么增加成本的功能只是加权为零（忽略）？是因为非线性特征会导致局部最小解？

感谢。

Answer 1

如果您正在讨论线性回归分类器的训练错误，那么添加功能将始终减少您的错误，除非您有错误。就像你说的那样，这是一个凸出的问题，全局解决方案永远不会更糟，因为你可以将权重设置为零。

如果您正在谈论测试错误，那么过度拟合将成为添加功能的一个大问题，而且肯定是您会观察到的。

Answer 2

我不能发表评论，因此张贴作为答案。

@agilefall：你不一定错了。如果您根据预测输出和实际输出之间的相关性来测量精度，那么随着您添加更多功能，精度会降低。线性回归并不保证这一点。