与S函数的S形神经元的简单非线性边界

Question

我想计算一个带有输入层和输出层的sigmoid神经​​元的非线性边界。神经元有2个输入x1，x2和一个偏差。我正在努力计算这个。

这是怎么做到的。对于感知器如果

         w*x +b >= 0 for negative samples then
         we perform w = w -x[![enter image description here][2]][2]
         and if w*x+b <0 for positive samples then
         w = w + x

直到错误降低到低值。我正在使用Octave 计算

是否存在乙状结肠神经元的迭代方法。我们如何得到非线性边界？

Answer 1

这个问题有两个部分，一个与绘图有关，另一个与网络本身有关。让我们从第二部分开始，您需要了解：

• 单个神经元，没有任何激活或有sigmoid 是线性模型。为了具有非线性，您需要非单调激活（如rbf）或至少1 隐藏层。

• 一些逻辑门是线性的，有些则不是。特别是OR是线性的（以及AND），但同时XOR不是。证明非常简单（对于OR的线性），因为它可以实现为

  cl(x) = x1 + x2 - 0.5
  

  如果您现在采用上述等式的符号，您将看到它是1 iff x1 + x2> 0.5，并且显然这发生（在其他情况下）至少一个是1而另一个是0.

就决策界限而言。对于线性模型，它是直截了当的，因为可以确定分析决策边界，但是如果一般具有非线性模型则不可能。因此，我们所做的是近似，你想在一个平面上绘制决策边界，对于x1 e [-T，T]和x2 e [-T，T]所以你要做什么 - 你只是从输入中采样非常密集的点空间（如（-T，-T），（ - T + 0.01，-T + 0.01），...）并检查分类。你得到一个0和1的巨大矩阵，你只需要绘制这个函数的一个计数图。