LS-SVM：基于样本数的正则化参数的最大值

Question

我使用ls_svm作为24 * 468的数据集。我的变量选择和SVM参数调整基于留出一个CV。增加正则化参数的上限导致更好的Q2（留下一个系数），但测试集结果的改善不太好。样本数（24）和最大正则化参数之间是否存在关系？

Answer 1

首先我们需要澄清两件事，超参数C实际上是正则化的逆。 C越大 - 正则化越小。从你的问题我想你对C的上限感兴趣，这实际上是正则化的下界。我很确定你不能仅根据点数来获得这样的价值。为什么？因为SVM不是仿射变换不变的，所以如果我只是将整个数据集缩放2次，则需要更大的C来获得与缩放前相同的结果。换句话说 - 你的积分的实际规模/位置是至关重要的。不幸的是，即使对于正确缩放的数据 - 据我所知 - 没有C的上限，但是较低的一个 - 您可以计算SVM导致非平凡的最小C模型。然而在另一端 - 它似乎是一个比SVM本身更复杂的优化问题。