为什么在神经网络的最后一层使用ReLu？

Question

当我们学习回归时，建议在神经网络的最后一层使用ReLu。 这对我来说很有意义，因为ReLu的输出不限于0到1。

但是，当x <0（即ReLu输出为零）时，它的行为如何。 y（回归结果）是否仍小于0？

我相信，这里我缺少基本的数学概念。任何帮助表示赞赏。

Answer 1

您通常使用：

• 线性回归图层以获得连续值
• 需要分类概率分布的分类用Softmax

但是这些并不是一成不变的。如果您知道回归的输出值应为正，那么为什么不使用ReLu？如果分类的输出不是概率分布（例如，存在哪些类），则可以很容易地使用S型。