如何理解SVM的功能边界？

Question

我正在阅读Andrew NG的机器学习笔记，但功能边缘定义让我困惑：

我可以理解几何边距是从x到超平面的距离，但是如何理解功能边界？为什么他们这样定义公式？

Answer 1

可以这样想：w ^ T.x_i + b是模型对第i个数据点的预测。 Y_i是它的标签。如果预测和基础事实具有相同的符号，则gamma_i将为正。这个实例的类边界进一步“内部”，更大的gamma_i将是：这是更好的，因为，总结所有i，你将在你的类之间有更大的分离。如果预测和标签在符号上不一致，那么这个数量将是负数（预测器的错误决定），这将减少您的保证金，并且它将减少得越多，你就越不正确（类似于松弛变量） 。

Answer 2

功能保证金：

这给出了相对于平面的点的位置，这不取决于幅度。

几何边距：

这给出了给定训练样本和给定平面之间的距离。

Answer 3

您可以根据以下两个假设将功能边距转移到几何边距：

1. || ||瓦特== 1，因此（w ^ T）x + b ==（（w ^ T）x + b）/ || w ||，这是从点x到线y =（w ^ T）的几何距离X + b

2. 目标只有两个类别，其中y_i只能是+1和-1。因此，如果y_i的符号与点x所在的线的一侧匹配（当（w ^ T）x + b> 0时y_i> 0，则当（w ^ T）x + b时y_i <0） ＆lt; 0），乘以y_i只相当于得到距离的绝对值（w ^ T）x + b。

Answer 4

  

对于这个问题

     

    

他们为什么要这样定义公式？

  

说明：功能裕度并未告诉我们与分离平面/直线的不同点的确切距离或测量值。

例如，只考虑以下行，它们是相同的，但功能裕度会有所不同（功能裕度的限制）。

2*x  + 3*y  + 1 = 0 
4*x  + 6*y  + 2 = 0 
20*x + 30*y +10 = 0

功能保证金只是给出了我们分类的可信度，没有具体的。

请阅读以下参考资料以获取更多详情。

  

Referenced Andrew NG's lecture notes, please click here for more details

     

如果y（i）= 1，那么功能裕度很大（即，我们的预测是自信和正确的），我们需要wTx + b为大的正数。相反，如果y（i）= -1，那么为了使功能裕度变大，我们需要wTx + b为大的负数。此外，如果y（i）（wTx + b）> 0，那么我们对这个例子的预测是正确的。 （自己检查一下。）因此，一个大的功能边界代表了一种自信和正确的预测。

Answer 5

功能裕度用于扩展。

几何边距=功能边际/标准（w）。

或者，当norm（w）= 1时，边距是几何边距