为什么ReLU只应在隐藏层中使用？

Question

在this post上，我读到ReLU应该只在隐藏层中使用。为什么会这样？

我有一个带有回归任务的神经网络。它输出0到10之间的数字。我认为ReLU在这里会是一个不错的选择，因为它不会返回小于0的数字。这里的输出层最好的激活函数是什么？

Answer 1

通常，您仍可以将激活功能用于输出层。我经常使用Sigmoid激活函数将输出压缩在0-1范围内，效果很好。

使用ReLU时应考虑的一个原因是它们会产生死亡的神经元。这意味着在某些情况下，您的网络可能会产生不会更新网络的区域，并且输出始终为0。
本质上，如果您的输出中包含ReLU，则根本没有渐变，请参见here了解更多详细信息。

如果您在初始化过程中非常小心，那么我不明白为什么它不起作用。