为什么pytorch具有两种非线性激活？

Question

为什么pytorch具有两种非线性激活？

非线性激活（加权和，非线性）： https://pytorch.org/docs/stable/nn.html#non-linear-activations-weighted-sum-nonlinearity

非线性激活（其他）：https://pytorch.org/docs/stable/nn.html#non-linear-activations-other

Answer 1

主要区别在于非线性激活（加权和，非线性）下列出的功能执行仅阈值设置和不规范输出。 （即结果张量不一定在整体上或沿某些指定轴/ dim的总和不一定总为1）

非线性示例：

  

nn.ReLU
  nn.Sigmoid
  nn.SELU
  谭（Tanh）

---

非线性激活（其他）下列出的非线性执行 阈值化和归一化 （即结果张量的总和为1，如果未指定轴/ dim ensens，则为整个张量；或者沿着指定的轴/ dim ensens）

非线性示例：（注意分母中的归一化项）

  

  

但是，除了nn.LogSoftmax()以外，由于我们将对数应用于softmax输出，因此合成张量之和不等于1。