实值函数的伪维数

时间:2011-07-06 08:57:26

标签: machine-learning

对于一组实值函数 F = {f:X-> R} ,如何计算F的伪维度?

提供一个例子将有助于我的理解。像个案一样 其中 X = {(x,y,z): 0 < x < a ,0< ý< b,0 < ž< C }

*伪维度是VC维度的推广

2 个答案:

答案 0 :(得分:3)

此类维度旨在捕获概念类的自由度数,您在问题中将其标记为F.直观地说,VC维度和伪维度通常是一个非常接近你可能猜测的自由度数的数字。

例如,平面中的矩形集具有VC尺寸4,因为您可以破碎最多4个点的集合。 (选择放置在+符号终点的任意四个点;您可以通过选择适当的矩形为这四个点指定任何所需的+/-符号。)并且4对于多个维度是一个很好的猜测矩形,因为您可以指定任何带有(x,y)某个角的矩形以及(宽度,高度)。

对于伪维度,您基本上采用指标集{(x,y):f(x)> y}并获取该新集合的VC维度。

例如,对于某个实数k,设F = {f(x):f(x)= kx。然后指标集将是{(x,y):kx> y}每个k。换句话说,您将获得穿过原点的所有下半平面,不包括垂直线x = 0。这个集合只有VC维度1,但这是有道理的,因为你在F中唯一的自由度是选择k。

顺便说一句,也可以在metaoptimize.com上询问这个问题。

答案 1 :(得分:1)

不要对VC维度过于困惑,您可以轻松创建具有1个自由度和无限VC维度的函数族的示例,例如:

F = {1_ {sin(ax)> 0,a \ in Reals}

它只有一个自由度,但很容易看出,对于每一个n都有一组n个元素可以用这个函数族破碎,所以VC维度是无限的。还有具有无限量自由参数的族的例子具有有限的VC维度。就像无限维空间上的超平面w * x + b,但是w的范数是有界的。