SVM:为什么最大化保证金==最小化欧几里德范数?

时间:2016-10-18 09:34:04

标签: margin svm

在SVM优化问题中,我们要么最大化2/||w||的边距, 或者最小化权重向量的欧几里德范数w: (1/2)*w^t*w

有人可以向我解释为什么欧几里德范数是上面的公式吗?而不是1/sqrt(w^t*w)? 我假设欧几里德范数是欧几里德距离,我们如何得到那个公式?

2 个答案:

答案 0 :(得分:1)

原因是以下三个是等效的(在通常满足的适当数学条件下):

  • 最大化数量z
  • 最大化f(z)f是一个严格增长的功能。
  • 最小化g(z),其中g是严格减少的功能。

在您的情况下,请设置z=||w||,然后以相反的方式应用上述内容。然后,最小化||w||相当于最小化f(z) = 1/2 ||w||^2,并最大化g(z) = 2/||w||

答案 1 :(得分:0)

我们有两个边界?⋅?+?= 1和?⋅?+?= -1,中间是?⋅?+?= 0。现在,我们要找出这两条线与中间的每条线之间的距离。如果我们称距离为?。

我们考虑?⋅?+?= 1上的点z,然后将此点z设为原点,?⋅?+?= 0上的点将为?−?⋅? ||?||,这里,中线和?⋅?+?= 1之间的距离是z和?−?⋅? ||?||

之间的距离

现在,由于此点位于?⋅?+?= 0上,我们将拥有:

?⋅(?−?⋅? / ||?||)+?= 0

?⋅?+?-?⋅?⋅? / ||?|| = 0

我们知道,由于z位于?⋅?+?= 1上,因此?⋅?+?等于1,因此:

1 −?⋅?⋅? / ||?|| = 0

?⋅?⋅? / ||?|| = 1

?⋅||?|| ^ 2 / / ||?|| = 1

?⋅||?|| = 1

? = 1 / ||?||