神经网络中的激活功能

Question

我有一些问题与神经网络中使用的各种激活函数的使用有关？如果有人能给出很好的解释性答案，我将不胜感激。

1. 为什么ReLU仅专门用于隐藏层？
2. 为什么在多类别分类中不使用Sigmoid？
3. 为什么在具有所有负值的回归问题中不使用任何激活函数？
4. 为什么在多类分类中计算性能指标时为什么要使用“ average ='micro'，'macro'，'average'”？

Answer 1

我将尽我所能回答第两个问题：

1. Relu（= max（0，x））用于从数据中提取特征图。这就是为什么将其用于隐藏层的原因，在这些层中我们正在学习数据具有哪些重要特征或特征，这些特征可以使模型学习例如如何进行分类。在FC层中，是时候对输出做出决定了，因此我们通常使用Sigmoid或softmax，它们倾向于使我们得到0到1（概率）之间的数字，这些数字可以给出可解释的结果。

2. Sigmoid给出每种类别的概率。因此，如果您有10个班级，那么您将有10个概率。并且，根据使用的阈值，您的模型将预测例如图像对应于两个类别，而在多分类中，您只希望每个图像一个预测类别。这就是在这种情况下使用softmax的原因：它选择概率最大的类别。因此，它将只预测一个类。