VC Dimension of Circle,一个特例

时间:2012-09-18 11:44:06

标签: machine-learning

我读过一个圆圈可以在2D空间中粉碎3点,这实际上是圆形的VC维度。

假设我们有三个点(5,2)(5,4)和(5,6)。 我怎样画一个圆圈,其中(5,2)& (5,6)中包括(5,6)?那是不可能的! 如果它不能破碎那么VC Dimension为什么是圆圈3。或者我错误地认为在VC维度的定义中;一个假设必须打破所有可能的空间子集的所有可能情景?

亲切的问候

2 个答案:

答案 0 :(得分:10)

VC维度是可以破碎的最大点数。 {(5,2),(5,4),(5,6)}不能用圆圈破碎,但{(5,2),(5,4),(6,6)}可以用圆圈破碎因此VC维度至少为3.证明它正好是3更难。

这里有一个技术要点与Qnan的答案有关。如果圆分类器总是将圆内的点分类为1,将圆外的点分类为0,则{(5,2),(5,4),(5,6)}不能被破坏。另一方面,如果圆分类器也可以将圆内的点分类为0,那么{(5,2),(5,4),(5,6)}可以被破坏,如Qnan所解释。

Qnan,关于你的评论,如果有人说n是具有属性P的最大点数,那么为了证明n> = m,就足以找到任何的集合m点与属性P.如果你发现一组或一千组m点没有属性P,那么这对n没有任何证据。 (除非你列举了每个可能的大小为m的点。)

VC维度是可以破碎的最大点数。如果分类器的VC维度为100,则仍然可以找到分类器不能破坏的3个点。我们可以将VCB维度定义为最大数量n,使得所有大小为n或更小的集合都可以被破坏。 Asymptote的原始例子表明,笛卡尔平面上圆形分类器的VCB维数(假设在圆内,1在圆外),小于或等于2,因为这三个点不能破碎;但是,Asymptote的例子没有显示VC维度小于3,因为还有其他一组大小为3的点可以破碎。

答案 1 :(得分:1)

关键是可以绘制圆形,使得属于一个类的所有点都在内部,而其余的在外部。哪个类是哪个类并不重要,因为交换标签只需要反转分类器。

在您的情况下,将(5,2)和(5,6)与(5,4)分开是通过在圆圈中仅包括后者而轻而易举地完成的。对于分类器,“内部”和“外部”无关紧要。重要的是它们可以被归类为0错误。

修改 严格地说,VC维度是为参数化分类器定义的,并且存在多个分类器,其边界将被描述为“圆圈”。例如,f(x)=(x-x0)*(x-x0)不能在一行上破坏一组三个点,但f(x)=a*(x-x0)*(x-x0)可以,并且两个分类器都具有圆形边界。第二个的VC维度实际上是3,而第一个的维度是2。