很抱歉,我一直在这里问。我会努力学习,准备回答问题!
许多论文和文章声称选择MLP的激活功能没有限制。
似乎只有在给定条件下最适合哪种情况。
并且文章说它在数学上证明了简单的感知器无法解决XOR问题。
我知道简单的感知器模型曾经使用阶跃函数来激活它的功能。
但是,如果基本上使用哪个激活功能并不重要,那么使用
f(x)=1 if |x-a|<b
f(x)=0 if |x-a|>b
因为激活功能适用于XOR问题。 (对于2输入1输出没有隐藏层感知器模型)
我知道使用人工功能对学习模型不利。但是,如果它仍然有效,那么为什么文章说它被证明它不起作用?
文章是否意味着使用阶梯函数的简单感知器模型?或者,与MLP不同,简单感知器的激活功能必须是阶梯函数吗?或者我错了?
答案 0 :(得分:1)
一般,
问题是不可微的激活函数(如您提出的那样)不能用于反向传播和其他技术。反向传播是估算正确阈值的便捷方式(示例中为a
和b
)。选择所有流行的激活函数,使得它们在保持可微分的同时接近步进行为。
答案 1 :(得分:1)
正如bgbg所述,您的激活是不可区分的。如果你使用可微分激活函数,这是MLP计算梯度和更新权重所需的,那么感知器只是拟合一条线,直观上无法解决非线性XOR问题。