最优分离超平面目标函数混淆

时间:2016-06-07 21:12:18

标签: machine-learning classification svm

Chapter 4.5.2 of Elements of Statistical Learning

我不明白它是什么意思:

“因为任何β和β0满足这些不等式,任何正比例 多重满足它们,我们可以任意设置||β|| = 1 / M.“

此外,最大化M如何变为最小1/2(||β|| ^ 2)?

1 个答案:

答案 0 :(得分:0)

  

“由于任何满足这些不等式的β和β0,任何正比例多重也满足它们,我们可以任意设置||β|| = 1 / M.“

y_i(x_i' b + b0) >= M ||b||
因此对于任何c> 0

y_i(x_i' [bc] + [b0c]) >= M ||bc||

因此你总能找到这样的c || bc || = 1 / M,所以我们只关注b这样他们就有这样的规范(我们只是限制了可能解决方案的空间,因为我们知道缩放不会有太大变化)

  

此外,最大化M如何变为最小1/2(||β|| ^ 2)?

我们把|| b || = 1 / M,因此M = 1 / || b ||

max_b M = max_b 1 / ||b||

现在 f(b)的最大化相当于1 / f(b)的最小化,所以

min ||b||

以及|| b ||是正的,它的最小化等价于平方的最小化,以及乘以1/2(这不会改变最优b)

min 1/2 ||b||^2