用乙状结肠神经元取代感知器网络

Question

在我们引入乙状结肠神经元（具有乙状结肠激活功能的神经元），即关于感知器之前，该网站给出了一些数学阐述。 http://neuralnetworksanddeeplearning.com/chap1.html

它从感知器开始，继续进入乙状结肠神经元。一切都很好，但我似乎无法证明第二个问题＆＃34; Sigmoid神经​​元模拟感知器，第二部分＆＃34;本章后面。我很难相信你可以用一个sigmoid神经​​元网络替换一个感知器网络，其偏差和重量不变（这里可以很容易地构建一个反例：对第三层和第一层采用权重17，-6，-3）第四层中的神经元，其中b = -3且w = {17，-6}，wx + b> = 0，对于{1,0,0}（包括偏差x_0），感知器网络给出0，而sigmoid网络可以给1）。

任何人都可以帮助我，告诉我错过了什么或我哪里出错了？ 谢谢。

Answer 1

Perceptrons的输出只能是1或0，而当wx + c = 0时，输出是1/2，所以当其中一个感知器的wx + c = 0时它会失败

Answer 2

不，你不能，而不是权重不变。但是sigmoids是二进制阈值单位的连续近似值，它应该是相似的。该页面说明了这一点：

  

现在用乙状结肠神经元替换网络中的所有感知器，并将权重和偏差乘以正常数c> 0。显示在极限为c→∞时，这个乙状结肠神经元网络的行为与感知器网络完全相同。

这是真的。当您将所有权重乘以大值时，S形单位和阈值单位之间的微小差异会变得越来越小。 sigmoid的非常大的输入总是产生0或1。