激活函数在神经网络中做了什么 - 对于初学者

Question

我理解具有多层，反向传播等的概念。我甚至理解激活函数会根据所使用的激活函数将输出压缩到某个范围。但为什么我们甚至要求这个呢？如果我们在没有激活函数的情况下继续实际结果会发生什么？

请帮助我理解，但是用纯英语 - 没有图表/公式请 - 我想了解它背后的概念

Answer 1

使用激活功能的原因很少，最常见的是当输出需要在其特定范围内时。例如如果输出是一个概率，它仅在范围[0,1]中有效。

Answer 2

如果您的激活函数只是a（z）= z（线性神经元），则激活只是加权输入（加偏差）。在这种情况下，每层的激活是前一层激活的线性函数。您可以很容易地说服自己，许多层（即深层网络）的组合效果仍然是线性函数。这意味着只需一个输入层和一个输出层就可以得到完全相同的结果，而没有任何隐藏的神经元。换句话说，你不会通过添加隐藏层来赢得网络可以做的任何额外的复杂性，所以没有优势去深入＆＃34;深度＆＃34;神经网络。