VC联盟的维度?

时间:2011-01-08 21:39:12

标签: computer-science machine-learning

假设我有两个概念类:C1和C2。 假设C1的VC维度为d且C2的VC维度为d。

C1和C2联合的VC维度的最大值是什么?

3 个答案:

答案 0 :(得分:3)

参见Eisenstat和Angluin的论文,“k-fold联合的VC维度”,它们表明VC维数与Theta(klogk)渐近增加。

StompChicken答案不正确,因为它暗示k-fold联合的VC维度为O(k)。我相信他正确地争论了d_1 + d_2的界限。

答案 1 :(得分:2)

在下文中,我将假设您并不是要指定C1和C2具有相同的VC维度d,而是指定不同的VC维度d1和d2。我也将假设(不失一般性)d1> = d2。

这取决于你所说的'C1和C2的结合'。由C1和C2的并集形成的概念类的VC维度具有VC维度d1。这非常简单,因为要打破d1或更少的点,只需使用C1中的内容。然而,C1或C2都不会破坏d1 + 1点,几乎可以定义。

编辑 - 以下段落中的论点是错误的,请参阅HRJ对真正被称为'k-fold union'的真实故事的回答。

  

因为那很无聊,也许你的意思是概念课在哪里   你被允许从一个元素的联合形成一个假设   C1和C2的一个元素。这里的VC维度是d1 + d2。查看   这样,将任何d1 + d2分成两个子集并粉碎它们   分别包含C1和C2中的元素。这样做的结果是   对于2D中的线性分隔符,VC维度将是   3 + 3 = 6你可以从公平的事实看出这一点   六边形的明显标记,不能用两条线破碎。

不同意HRJ,我认为这甚至不是联盟的正确下限。例如,让X = {x1,x2,x3,x4}C = {{x1,x3},{x2,x4}}然后C可以破坏大小为1的任何子集,但不是,例如{x1,x2},因此C具有VC维度1.但是,2- C的折叠联合是C^2={{x1,x3},{x2,x4},{x1,x2,x3,x4}},它仍然是VC维度1.进一步的联合将最终得到同样的东西。所以,我认为k-fold联合的下界是d。然后,我可能是错的。

答案 2 :(得分:1)

如果VC(H_1)= d_1且VC(H_2)= d_2且d = max(d_1,d_2),则并集的VC上的一般界限为2d + 1。请参阅附件img,因为我找不到插入乳胶的方法。 VC(H_1 \CUP H_2)\le 2d+1