关于Perceptron

时间:2017-09-06 19:04:00

标签: machine-learning neural-network classification perceptron

我正在学习一些ML,我在脑子里遇到了一些问题,特别是关于感知器。例如,我问:

  1. 我们可以看到偏差和权重w作为线性分离器的系数对吗?这仅在我们处于线性分隔符为线的2D中时有效吗?

  2. 我们的目标是创建一条线,以便将数据点准确地划分为我们的训练数据吗?意味着,在学习阶段结束时,算法“发现”了最好地分离两种点的线(如果我们在2D中)。发生这种情况是因为训练数据具有正确的标签y,并且算法可以找到真实标签与预测标签之间的距离。

    因此转向测试阶段,测试点没有标签,所以在我的想法中,感知器只识别测试点是否高于或低于返回的行。这导致了分类?

  3. 有人也使用此notation for the threshold activate function

    是否与使用错误差异的另一个相同?如果我没有错,这用于-1 / + 1类。 顺便说一句,我们将观察I的Yi标签与感知器的输出值联系起来?

2 个答案:

答案 0 :(得分:1)

1)w和b是线性分离器的系数,与尺寸无关。 w和b共同代表w^T x + b = 0的点集。 w与x具有相同的维度,b始终是标量。

这组点将空间分成两个区域。在2维的情况下,该组点对应于线。在3维的情况下,它将对应于平面。在更高的维度中,您无法真实地将其可视化,但它仍然可以正常工作。一般来说,它将它称为超平面

2)部分正确。测试数据用于检查感知器的性能。除非您知道测试数据的真实类别,否则您无法知道它的执行情况。您通常做的是测量感知器正确分类的测试数据的百分比(称为准确度)。但是,测试数据不会影响感知器。它只是在那里进行测试。

3)这是一个不寻常的符号,你应该提供一些背景,否则我无法告诉你它应该代表什么。

答案 1 :(得分:0)

由于我无法添加评论,我正在使用这个答案澄清rollotommasi问题的深层答案。

如果您的训练数据是线性可分的,感知器只能找到最佳解决方案,这意味着最佳解决方案也是最佳解决方案。

  

那么,如果返回的行对训练数据“有效”,那么对于测试数据又如何有效?

正如你所说,为了对新数据进行分类,如果这个数据高于或低于该线,感知器会返回,也就是说,预期你的训练集以新数据(测试数据)获胜的方式表示整个集合与训练集不同。

想象一下2个特征向量的exclusive-or问题,假设您只考虑每个特征的符号,并且只要它们相同,输出类为1,否则输出类为0.您的数据可以分为4 quadrants单层感知器无法找到最佳解决方案。

现在考虑您的训练集仅包含来自第一和第二象限的数据。对于该训练集,单层感知器将找到最佳解,将象限除以y轴。但是,当用剩余数据测试模型时,它会猜错。