简单的感知器模型和异或

时间:2014-06-19 08:21:51

标签: machine-learning neural-network xor perceptron

很抱歉,我一直在这里问。我会努力学习,准备回答问题!

许多论文和文章声称选择MLP的激活功能没有限制。

似乎只有在给定条件下最适合哪种情况。

并且文章说它在数学上证明了简单的感知器无法解决XOR问题。

我知道简单的感知器模型曾经使用阶跃函数来激活它的功能。

但是,如果基本上使用哪个激活功能并不重要,那么使用

f(x)=1 if |x-a|<b 
f(x)=0 if |x-a|>b 

因为激活功能适用于XOR问题。 (对于2输入1输出没有隐藏层感知器模型)

我知道使用人工功能对学习模型不利。但是,如果它仍然有效,那么为什么文章说它被证明它不起作用?

文章是否意味着使用阶梯函数的简单感知器模型?或者,与MLP不同,简单感知器的激活功能必须是阶梯函数吗?或者我错了?

2 个答案:

答案 0 :(得分:1)

一般, 问题是不可微的激活函数(如您提出的那样)不能用于反向传播和其他技术。反向传播是估算正确阈值的便捷方式(示例中为ab)。选择所有流行的激活函数,使得它们在保持可微分的同时接近步进行为。

答案 1 :(得分:1)

正如bgbg所述,您的激活是不可区分的。如果你使用可微分激活函数,这是MLP计算梯度和更新权重所需的,那么感知器只是拟合一条线,直观上无法解决非线性XOR问题。