识别SVM中可能的过度拟合

Question

SVM可以通过正确选择参数来避免过度拟合。如何知道受过训练的svm是否过度装配？有没有办法识别出来？如何避免这种情况？可以使用看不见的数据进行测试吗？

Answer 1

您可以逐渐调整C值并观察支持向量数的变化（我们知道，太大的C更有可能导致过度拟合）。此外，小ε（例如，达到零）也会导致过度拟合。要通过实验验证，您可以直接进行交叉验证，以比较培训过程中的预测准确性。

Answer 2

libSVM metatraining正是为您完成的。如果您有（meta）培训看不到的数据，您可以对此测试数据进行预测，并将其性能与训练数据的性能进行比较。一个小的差距是可以的，而一个大的差距是过度拟合或训练数据太少的指标。