结构风险最小化和SVM

时间:2014-11-20 10:01:18

标签: classification svm

我知道什么是SRM,但我不理解SRM和SVM之间的关系。谁能解释一下这个?为什么他们说SVM依赖于SRM方法? 非常感谢你!

1 个答案:

答案 0 :(得分:7)

结构风险最小化是Vapnik的学习概念,它在概念上类似于其他最小假设方法"。简而言之,大多数学习算法(在分类中)试图找到从输入空间到类的一些映射,使得这种映射表现得很好"以及#34;在训练集上(返回正确的答案)。然而,已知的现象是,这不足以构建良好的模型,因为例如可以记住所有训练示例并且具有0训练误差的模型。然而,它会对新的例子(看不见的观察)表现得很糟糕。结构风险最小化可归纳如下:"要找到一个好的分类器,选择最简单最小化训练错误"。换句话说 - 最好在复杂的模型上使用简单模型。随着后者对数据做出更多假设,从空气中汲取更多信息。 (没有实际的培训数据来支持这种复杂性)。 Vapnik证明了分类器复杂性(用所谓的" Vapnik-Chervonenkis维度"测量)和它们在看不见的数据(测试点)上表现良好的能力之间存在着强烈的关系。这个VC维度(松散地说)衡量给定分类器中的一组点的大小,可以完美地对所有可能的标签进行分类。

"风险的概念"只是做出错误决定的可能性"在未来" (当我们的模型对新的,看不见的点进行分类时)。并且"结构"概念是模型的复杂性,对复杂模式的适应性的名称。

SVM与这个概念有什么关系?通过保证金最大化。看起来(并且可以严格证明)边际的最大化减小了VC维度,因此当边缘最大化时,我们搜索更简单和更简单的模型。