我想知道SVM对其参数的敏感程度。它在反向传播时是否敏感？ SVM是一个稳定的分类器吗？你能把我推荐给一些论文吗？
谢谢！
答案 0 :(得分：1)
SVM中有几个概念对于理解它将会变得多么脆弱很重要：
<强>缘基 只有几个点用于分隔您的类：支持向量。这意味着您使用“边框案例”来分隔您的数据。这样做的原因很简单。它对应于将所有不支持向量的点的权重设置为零。这是稀疏性的考虑因素。很多零意味着你必须做更少的乘法。如果数据是线性可分的，则只有最大边距可以绘制的线，因此不会涉及任何参数。因此对参数也没有敏感性。在一些高维空间中可分离性的非常重要的情况下，情况并非如此。一个内核，例如高斯核，带有通常的方差σ参数。内核越复杂，分离就越尴尬（参见this blog post）。
不可分割的课程 对于不可分割的课程，必须发明一些东西以便再次获得适当的问题。对于几何直觉，论文Duality and Geometry in SVM classifiers很有趣。它将问题可视化为数据点周围的减少的凸包，使得在两个类之间再次存在可分离的平面。这是扩大边际（通过软化）以允许并入“不正确”点的双重性。如何处理“misfits”导致（可调）参数。例如，很容易将数据点可视化到另一个类的区域中。如果数据类似于它可能会导致您考虑鲁棒性关于如何合并松弛变量或函数。这经常被封装在“错误分类惩罚”C中。
如果您真的想知道支持向量机的基础是什么样的假设，那么搜索贝叶斯解释通常是有益的。但是要小心，它们可能只是将铰链损失改为最小二乘，实际上描述了与普通SVM完全不同的东西。我推荐的论文是Sollich的Bayesian Methods for Support Vector Machines: Evidence and Predictive Class Probabilities。