神经网络激活功能

Question

到目前为止，我见过的神经网络唯一的激活函数是逻辑函数。是否还有其他常用功能？如果是这样，你如何选择激活功能？

Answer 1

Yeap有： http://en.wikipedia.org/wiki/Activation_function

选择取决于问题。

Answer 2

双曲正切函数是另一种广泛使用的神经网络激活函数。双曲正切函数将产生介于-1和1之间的正数。由于双曲正切激活函数具有导数，因此可以使用基于梯度下降的训练方法。

您也可以使用自己的自定义激活功能，但需要设计自己的成本函数。对于新手来说，最好遵循文献。