为什么权重向量与神经网络中的决策平面正交

Question

我是神经网络的初学者。我正在学习感知器。 我的问题是为什么权重向量垂直于决策边界（超平面）？ 我提到了很多书，但都提到重量矢量与决策边界垂直，但没有人说明为什么？

任何人都可以给我一本书的解释或参考吗？

Answer 1

权重只是定义分离平面的系数。暂时忘记神经元，只考虑N维平面的几何定义：

w1*x1 + w2*x2 + ... + wN*xN - w0 = 0

您还可以将此视为点积：

w*x - w0 = 0

其中w和x都是长度为N的向量。该等式适用于平面上的所有点。回想一下，我们可以将上面的等式乘以一个常数，它仍然成立，因此我们可以定义常量，使得向量w具有单位长度。现在，拿出一张纸，在上面的公式中绘制x-y轴（x1和x2）。接下来，在原点附近绘制一条线（2D中的一个平面）。 w0只是从原点到平面的垂直距离，w是沿着垂直点从原点指向的单位矢量。如果您现在从原点到平面上的任何点绘制矢量，那么该矢量与单位矢量w的点积将始终等于w0，因此上面的等式成立，对吧？这只是平面的几何定义：定义平面垂直（w）和从原点到平面的距离（w0）的单位矢量。

现在我们的神经元只是代表与上述相同的平面，但我们只是略微区别地描述变量。我们会将x我们的“输入”的组成部分称为w我们的“权重”的组成部分，我们会将距离w0称为偏差。这就是它的全部内容。

超越你的实际问题，我们并不关心飞机上的点。我们真的想知道飞机的哪一侧有一个点。虽然w*x - w0在平面上恰好为零，但它将在平面的一侧具有正值，而在另一侧具有负值。这就是神经元激活功能的来源，但这超出了你的实际问题。

Answer 2

直观地，在二元问题中，权重向量指向'1'类的方向，而当指向远离权重向量时找到'0'类。因此，决策边界应垂直于权重向量绘制。

有关简化示例，请参阅图像：您的神经网络只有1个输入，因此具有1个权重。如果权重为-1（蓝色向量），那么所有负输入将变为正，因此整个负频谱将被分配给'1'类，而正频谱将被分配为'0'类。因此，2轴平面中的决策边界是穿过原点（红线）的垂直线。简单地说它是垂直于权重向量的线。

让我们通过几个值来讨论这个例子。如果所有inputs * weights的总和大于0（默认阈值），则感知器的输出为1级，否则如果输出小于0的阈值，则类为0.您的输入值为1应用于此单个输入的权重为-1，因此1 * -1 = -1小于0.因此，输入被赋予类0（注意：类0和类1可能刚被称为A类或B类，不要将它们与输入和重量值混淆）。相反，如果输入为-1，则input * weight为-1 * -1 = 1，大于0，因此输入分配给类1.如果您尝试每个输入值，那么您将看到所有此示例中的负值具有大于0的输出，因此它们都属于类1.所有正值将具有小于0的输出，因此将被归类为类0.绘制分隔所有正负的线输入值（红线），您将看到此线垂直于权重向量。

另请注意，权重向量仅用于修改输入以适合所需输出。没有重量矢量会发生什么？输入1将导致输出1，其大于阈值0，因此该类为“1”。

this page上的第二张图片显示感知器有2个输入和偏差。第一个输入与我的例子具有相同的权重，而第二个输入的权重为1.相应的权重向量与决策边界一起如图所示改变。由于增加了1的偏差，决策边界也被转换为右边。

Answer 3

尽管问题是在2年前提出的，但我认为很多学生会有同样的疑问。我得到了这个答案，因为我问了同样的问题。

现在，想想X，Y（笛卡尔坐标系是一个坐标系，它通过一对数字坐标在一个平面中唯一地指定每个点，这是从点到两个固定垂直有向线的有符号距离[ from Wikipedia]）。

如果Y = 3X，在几何Y中垂直于X，那么让w = 3，然后Y = wX，w = Y / X如果我们想绘制X，w之间的关系，我们将有两条垂直线就像我们绘制X，Y之间的关系一样。所以总是把w系数看作垂直于X和Y.

Answer 4

从更基本的线性代数/微积分的角度来看，这是一个观点：

平面的一般方程为Ax + By + Cz = D（可以扩展为更大的尺寸）。可以从以下等式中提取法线向量：[A B C];它是正交于平面上所有其他向量的向量。

现在，如果我们有一个权重向量[w1 w2 w3]，则w ^ T * x> = 0（以获得正分类）并且w ^ T * x <0（以获得负分类）。 WLOG，我们也可以做w ^ T * x> = d。现在，您知道我要怎么做吗？

权重向量与第一部分的法线向量相同。并且我们知道，此法向矢量（和一个点）定义了一个平面：这正是决策边界。因此，由于法线向量正交于平面，因此权重向量也正交于决策边界。

Answer 5

1. 以最简单的形式docker rm $(docker ps -a -f status=exited -q) 开始，权重向量为ax + by = 0，特征向量为[a, b]
2. 然后[x, y]是斜率y = (-a/b)x的决策边界
3. 权重向量的斜率为-a/b
4. 如果将这两个斜率相乘，则结果为b/a
5. 这证明决策边界垂直于权重向量