感知器算法收敛性的几何证明

Question

我有一个问题，考虑Geoffrey Hinton的感知算法收敛的证明：Lecture Slides。

在幻灯片23上，它说：

  

每次感知器出错时，所有这些慷慨可行的权重向量的平方距离总是至少减少更新向量的平方长度。

我的问题是我可以通过将可行向量向右移动来任意减小距离。请看这里的描述：

那么，如果我可以任意缩小更新向量的平方长度（蓝色），如何保证距离缩小？

Answer 1

如果我正确阅读他的证据，有两个原因：

1. 这涉及可行向量的集，而不仅仅是一个。
2. 参考是到各个向量的平方距离的和。请注意，更新会将新点更远从褐色点移动（另一个可行向量）。
3. 移动一个向量将更改更新向量。

Answer 2

证据表明“平方距离”a ^ 2 + b ^ 2，而不是引起问题的直线距离（欧几里德距离）。 由于我们在保持相同的“水平”距离的同时“垂直”更新“坏”权重向量，因此我们始终保证至少通过更新向量的平方长度更接近于非常可行的向量。我认为这应该推广到更多方面。如果我错了，请纠正我。