神经网络的激活函数选择

Question

我们可以为神经网络的隐藏层和输出层使用不同的激活函数吗？ 使用这种方案有明显的优势吗？

Answer 1

对于网络的最后一层，激活单元也依赖于任务。

1. 分类：您只需要将其中一个输出作为标签之一，但是没有可靠的方法来实现这一点，因此您需要使用 softmax 来估算它。
2. 回归：您需要使用 sigmoid 或 tanh 激活，因为您希望结果是线性的。使用sigmoid和tanh，输出将在0和1之间缩放。因此很容易优化。

对于中间层，现在大多数人都使用 Relu ，因为它计算速度更快，并且在反向传播的早期就不会消失。

Answer 2

简而言之 - 是的，你可以。使用sigmoid函数作为隐藏层激活是一种常见的方法，以确保非线性特征，并为特定任务选择的输出中的激活（取决于您尝试建模的内容以及您使用的成本函数）。

Answer 3

如果要实现预测任务而不是分类，则可以在输出层中使用线性组合，因为sigmoid函数会将输出范围限制为（0,1），这通常应用于基于阈值的分类问题。 / p>