Question

非线性内核允许SVM在高维空间中线性分离非线性数据。 RBF内核可能是最流行的非线性内核。

我被告知RBF内核是高斯的，因此具有无限的差异性。使用此属性，RBF内核可以将数据从低维空间映射到INFINITE维空间。我有两个问题：

1）有人能解释为什么映射后的特征空间数量与内核的衍生物相对应吗？我不清楚这一部分。 2）有许多非线性内核，例如多项式内核，我相信它们也能够将数据从低维空间映射到无限维空间。但为什么RBF内核比它们更受欢迎？

提前感谢您的帮助。

Answer 1

1）有人可以解释为什么映射后的特征空间数量对应于内核的衍生物？我不清楚这一部分。

它与可微分无关，线性内核也是无限可微的，并且不会映射到任何更高维度的空间，无论谁告诉你这是理由 - 撒谎或者不理解它背后的数学。无限维度来自映射

phi(x) = Nor(x, sigma^2)

换句话说，您将您的点映射到函数是高斯分布，它是L ^ 2空间的元素，连续函数的无限维空间，其中标量积定义为积分函数的乘法，所以

<f,g> = int f(a)g(a) da

就这样

<phi(x),phi(y)> = int Nor(x,sigma^2)(a)Nor(y,sigma^2)(a) da 
                = X exp(-(x-y)^2 / (4sigma^2) )

对于某些规范化常量X（这完全不重要）。换句话说，高斯核是两个函数之间的标量积，它具有无限维。

2）有许多非线性内核，例如多项式内核和I 相信他们也能够从低维度映射数据空间到无限维空间。但为什么RBF内核更多那么受欢迎吗？

多项式内核映射到具有O(d^p)维度的要素空间，其中d是输入空间维度，p是多项式度，因此它远非无限。为什么高斯受欢迎？因为它可以工作，而且非常易于使用且计算速度快。从理论的角度来看，它也保证学习任意一组点（使用的方差足够小）。