使用ReLU时如何确定神经网络最后一层的范围

Question

我对神经网络比较陌生。 Atm我正在尝试对神经网络进行编程，以对0到10之间的数字进行简单的图像识别。 我想要的激活函数是ReLU（整流线性单位）。

使用S形函数，很清楚如何确定最终某个案例的概率（因为它介于0和1之间）。

但是据我了解，借助ReLU，我们没有这些限制，但最终可以得到任何价值，作为先前“神经元”的总和。 那么通常如何解决呢？

• 我是否只取所有值中的最大值，并说概率为100％？
• 我是否将所有值相加并说100％？
• 或者还有我看不到atm的方法吗？

我希望我的问题是可以理解的。 预先感谢您抽出宝贵的时间，看着我的问题。

Answer 1

您不能将ReLU函数用作分类任务的输出函数，因为，正如您提到的，它的范围不能表示0到1的概率。这就是为什么它仅用于回归任务和隐藏层的原因。

对于二进制分类，必须使用范围在0到1之间的输出函数，例如Sigmoid。就您而言，您将需要一个多维扩展，例如softmax函数。