多标签分类中最后一层应该是什么？

Question

如果我从多类转换为多标签分类，为什么我需要在最后一层使用sigmoid函数而不是softmax？

Answer 1

从理论上讲，softmax对于给定的输入将总计为1。这在每个输入单个类的情况下是有意义的，即目标向量总和为1.

但是，在每个输入多个类的情况下，输出总计达每个输入的标号数。在这种情况下，您想知道输入对给定类的可能性百分比。这是通过S形函数实现的。 Sigmoid为您提供0到1之间的值，并且这些值在单个输入的不同类之间是独立的。

还有其他函数提供0到1之间的值（例如0.5 *（tanh（x）+ 1）），但sigmoid已被证明在实践中运行良好，因此用于多标记分类。