Question

我正在尝试在c＃中创建一个简单的转换网，我想制作一个Softmax输出层，但我现在不是真的。它是一个具有Softmax激活的完全连接层，还是仅输出数据softmax的层？

Answer 1

Softmax只是一个采用向量并输出相同大小的向量的函数，其值在[0,1]范围内。矢量内部的值也遵循概率的基本规则，即。 vector = 1中的值之和。

softmax(x)_i = exp(x_i) / ( SUM_{j=1}^K exp(x_j) ) # for each i = 1,.., K

但有时人们使用Softmax分类器，它指的是带有输入和1输出层的MLP（这使得它成为线性分类器，如线性SVM），其中softmax函数应用于输出层的输出。此设置提供输入接近每个输出类的概率。