深层学习隐藏层之间的激活功能？

Question

我有点困惑隐藏层之间激活的用途是什么，我知道隐藏层和输出之间的softmax函数是将概率压缩到[0,1]，但是隐藏层之间的sigmoid函数的用途是什么？

Answer 1

目的是向网络添加非线性行为，没有它可以表示的函数数量较少，如果没有非线性激活函数，网络是完全线性的，这不是很对大多数问题都有用。

添加非线性激活的每个层也有助于网络输出的非线性行为。这是添加更多层提高准确性的一个原因，因为网络可以更好地表示不同的功能。

Answer 2

1. Sigmoid的输出不在0居中。它不能有效处理负值。
2. Tanh可能会导致破坏梯度的问题。

根据最新研究，应该在深层神经网络的隐藏层中使用ReLU函数（如果面对消失的梯度，则应使用泄漏的reLU）。 使用此功能，输出层必须具有用于分类的softmax或用于回归的线性激活。

我是从this精彩视频中学到的。