我有一个决定边界（例如）：
5 x1 + x2 - 3 = 0
，权重向量为[5 1]。
为了确定该平面中的点是否位于边界的正侧或负侧，我们可以插入等式中的该点并检查它是否为正。
但是，从数学上可以证明，如果决策平面穿过原点，那么权重向量总是指向正边吗？
我搜索了几个网站并找到了一个（http://www.cs.utah.edu/~piyush/teaching/8-9-print.pdf），据说假设权重向量总是指向正面，但没有找到它的数学证明。
有人可以帮忙吗？
答案 0 :(得分：1)
该线程迟到了，但也许可以帮助其他人。事实上，你会发现许多消息来源说它“必须”是积极的，但他们从来没有真正说明原因。为了证明这一点，必须有一些约束，而不是任意向量空间中的任意超平面。我敢肯定，由于您在谈论决策边界，因此您处于参数空间的上下文中，例如感知器或类似的东西。参数空间是唯一的，因为超平面总是通过原点。为什么？因为偏置项本身就是参数空间中的一个维度。它不再是一个恒定的偏移量。在参数空间中，我们有一个独特的超平面构造。超平面维度的系数是向量 x 中的特征，包括偏置维度。考虑一个超平面的定义：
w*x + w0 = 0
我想举一个二维的例子来说明一个概念，然后快速跳回到任意维度来更通用。对于二维示例，您将有 w0 与 w1。
假设您有两个功能：
x1 = 2
x2 = -1
如果要在参数空间中绘制这些特征，则将它们构造为 [x 1]，结果：
x1 -> [2 1]
x2 -> [-1 1]
这将导致参数空间（权重空间）中的超平面为：
x1 -> (2)w1 + (1)w0 = 0
x2 -> (-1)w1 + (1)w0 = 0
在我们的二维示例中，我们将 w0 和 w1 视为传统的 y 与 x 并求解“y”。
Parameter hyperplanes sketched in parameter space
现在，您可以看到其中一条线的参数向量（权重向量）点
Parameter hyperplane with parameter vector point
你可以看到超平面的正侧和负侧都被标记了。所以想想是什么造成了积极和消极的一面。嗯，这是关于 w0 的。如果 w0 的值大于超平面上的 w0 值，我们说它是超平面的正侧（负值则相反）。现在，另一个需要理解的关键是所有参数点都必须通过 w0=1 线。这可以在下面看到：
Parameter hyperplanes with parameter vector points
现在，我们做一个直观的陈述，因为我们知道积极或消极的一面取决于 w0。将 x 视为任意大小的特征向量。 “如果参数向量 x 的 w0 值大于在 x 位置评估的超平面上 w0 的值，那么我们就在超平面的正侧。”请记住，位置 x 处的 w0 始终为 1。那么，超平面上 w0 的值是多少？
wx + w0 = 0 -> w0 = -wx
w0 在超平面上的值为 -w*x。现在，如果我们想在向量 x 处评估超平面上 w0 的值，我们有
w0 = -x*x
-x*x = -
我们知道内积，等效地，范数平方必须为正数或零。因此，该值的负乘积必须是负数或零。因此，当在位置 x 的超平面上评估时，w0 <= 0。请记住，在同一个位置 x，而不是在超平面上，参数向量告诉我们 w0 = 1。由于 1 总是大于负数或零，因此 w0 的参数向量位置总是高于决策边界w0.这个证明受限于通过原点的决策边界，但保证决策边界在参数空间中通过原点。
答案 1 :(得分：0)
我对这个术语并不熟悉，但听起来你只是问，如果你有一个形式ax + by = 0的方程，是否插入[ab]为[xy]总是给出一个正数？当然，因为aa + bb只是实数平方的总和，而实数的平方总是给出一个非负数。至少有一个，如果你的系数a，b必须是非零的，否则你并没有真正定义边界。
编辑：当且仅当c = 0时，由形式ax + by + c = 0的等式定义的“边界”通过原点（只需插入x = y = 0，看看为什么会这样） ），这就是为什么我只考虑形式ax + by = 0，而不是ax + by + c = 0的原因.OP提到的例子有c = -3。
