是否具有适用于多标签分类的Softmax交叉熵？

Question

如上所述here，交叉熵不是多标签分类的适当损失函数。我的问题是“这对于使用softmax的交叉熵也是如此吗？”。如果是，它如何与文档的this part匹配。

我应该提一下我的问题范围是cntk。

Answer 1

多标签分类通常意味着许多二进制标签＆＃34;。考虑到该定义，使用softmax的交叉熵不适用于多标记分类。您提供的第二个链接中的文档讨论了多类问题，而不是多标记问题。具有softmax的交叉熵适用于多类分类。对于多标记分类，常见的选择是使用每个标记的二元交叉熵的总和。二进制交叉熵可以使用Brainscript中的Logistic或Python中的binary_cross_entropy来计算。

另一方面，如果您遇到许多多类标签的问题，那么您可以对每个标签使用cross_entropy_with_softmax，CNTK会自动将所有这些损失值相加。