假设空间何时包含目标概念

Question

写下以下内容是什么意思？ 假设空间包含目标概念？ 如果可能的话，举个例子。

Answer 1

TLDR：这意味着您可以零误差学习。

这是一个示例：它假设一个概念：f(a,b,c,d) = a & b & (!c | !d)（输入在布尔域中）。

这个概念在ML任务中通常由数据表示，因此您将获得一个数据集：

a | b | c | d = f
--+---+---+---+---
T   T   T   T = F
T   T   T   F = T
T   T   F   T = T
   ... etc ...

您的假设空间为decision trees。在这种情况下，您的假设空间包含目标概念，您可以这样做（例如，有更多可能性）：

  

可以证明，任何二元公式（概念）都可以学习为   决策树。因此，一般二进制公式是决策树的子集。这意味着，当您知道概念是二进制公式（您甚至可能不知道）时，您将能够使用决策树来学习它（给出了足够的例子，没有错误。

     

另一方面，如果你想学习示例概念   monotone conjunctions，你不能这样做，因为二进制公式不是单调连词的子集。

     

（通过子集，我的意思是可能的概念。从子集关系，你可以在假设空间中做出关于包含目标概念的陈述。）

单调连接是一组连词，其中变量不会被否定。你有更多这些，当任何连词都是真的时，输出也是如此。是DNF的子集，您不能使用否定。

有些概念可以通过单音连词学习，但你无法通过它学习一般的二元公式概念。这意味着，您将无法学会零错误，一般二进制公式不是单调连词的子集。

以下是普林斯顿关于ML基础知识的精彩PDF：http://www.cs.princeton.edu/courses/archive/spr06/cos511/scribe_notes/0209.pdf