具有随机梯度下降的核SVM原始

时间:2012-12-23 00:32:49

标签: statistics machine-learning

简而言之:我目前正在阅读带有内核的在线学习(http://books.nips.cc/papers/files/nips14/AA33.pdf)以获得乐趣,我无法弄清楚他是如何从等式6和7中得到等式8的。

我们的想法是:我们希望最小化风险函数

$R_stoch\[f,t\]:=c(x_t,y_t,f(x_t))+\lambda\Omega\[f\]$

如果我们想在f上应用代表定理,则将其写为

$f(x)=\sum\alpha_i k(x,x_i)$

我们如何才能进行STOCHASTIC渐变下降更新?

1 个答案:

答案 0 :(得分:0)

一组 k(x i ,x)似乎构成 H 的基础,并且因为 f H 中,那么 f 可以写成“核函数”的线性组合。

假设 k(x i ,x)的集合形成 H 的基础,很明显,如果我们有一些线性组合在左侧和另一侧在右侧,它们相等,那么它们的基矢量系数也应该相等(从线性代数中众所周知的事实是,矢量相等意味着矢量系数(在相同的基础上) !)平等)。