在SVM中使用内核是否会增加过度拟合的可能性？

Question

使用内核在SVM中划分非线性域时，我们会根据训练示例引入新功能。然后，我们拥有与训练示例一样多的功能。但是，拥有尽可能多的功能可以增加过度拟合的可能性吗？我们应该放弃一些这些新功能吗？

Answer 1

增加功能确实增加了过度拟合的可能性，可能你应该使用交叉验证（libsvm contains）策略来测试你现在训练的模型是否过度拟合， 并使用功能选择工具选择功能http://www.csie.ntu.edu.tw/~cjlin/libsvmtools/fselect/fselect.py

Answer 2

您实际上无法删除任何内核生成的功能，在许多情况下，您不知道正在使用哪些功能或给予它们的权重。除了使用内核之外，SVM还使用正则化，这种正则化降低了过度拟合的可能性。

您可以阅读有关SVM的表述与统计学习理论之间的联系，但高级别的总结是SVM不只是找到一个分离超平面，而是找到一个最大化边界的超平面。

维基百科SVMs的文章非常好，提供了正则化，参数搜索和许多其他重要主题的出色链接。