如何在训练svm模型时调整参数

Question

如果我使用rbf作为内核函数，则必须调整两个参数（c和g）。我可以搜索每个参数对（ci，gi），然后选择最佳对。有没有更好的方法来找到最佳参数。

Answer 1

此blog on the kernel width choice的亮点：

To pick, say 1000 pairs (x,x’) at random from your dataset, compute the distance
of all such pairs and take the median, the 0.1 and the 0.9 quantile. Now pick λ 
to be the inverse any of these three numbers. With a little bit of cross 
validation you will figure out which one of the three is best. In most cases you 
won’t need to search any further.

来自交叉验证的this post提供了对此方法运作良好的原因的分析。基本上可以避免改变所有或仅一个数据点的决策函数。

此外，您可以在SVM中的参数选择中搜索“启发式方法”。例如，在M.Boardman et al's A Heuristic for Free Parameter Optimization with Support Vector Machines中，与详尽的网格搜索相比，作者应用simulated annealing来提高参数搜索效率。