SVM - 松弛变量

时间:2015-10-13 14:34:20

标签: svm

据我所知,在SVM(支持向量机)中,你可以添加一个松弛变量ε来“软化”边框。从一些教科书中读到,它提到了ε> 1将允许相应的样本被错误分类为属于错误的类。例如,如果我们有:

g = yf(x)

要成为实际类别标签(1或-1)与模型预测(实数)之间的乘积,那么任何正确分类的样本都会导致g为正。 (即:y和f(x)都是正数,它们都是负数。

因此,我们可以将模型的损失计算为max(0, 1-g),其中任何错误分类的样本将导致1-g > 0并且出现正损失。通过添加ε项,我们得到max(0,1-g-ε),这使得模型更容忍错误。

然而,只有ε&gt; 1允许错误分类,而0 <1。 ε&lt; 1只允许样品在仍被正确分类的情况下超过边距?

1 个答案:

答案 0 :(得分:1)

对于0&lt;ξ≤11$,该点在边缘与超平面的正确边之间。

所以,ξ/ || w ||&lt; 1 / || w ||。这称为保证金违规

ξ&gt; 1 表示错误分类,因为,ξ/ || w ||&gt; 2 / || w ||。

另一件事是松弛变量(ξ)本身意味着损失最大值(0,1-g)。

如果您有疑问,请参阅this文件。

注意:我使用ξ而不是ε来避免任何符号滥用。