Question

我正在做多类-多标签分类。即，对于每个示例，我有N_labels个完全独立的标签，而每个标签可能具有N_classes个不同的值（互斥）。更具体地讲，每个示例都按N_labels维向量进行分类，而每个向量分量都可以按{0, 1, ..., N_classes}

组进行分类

例如，如果N_labels = 5和N_classes = 3，则每个示例都可以通过以下标记进行分类：

[2, 1, 0, 0, 1], [0, 0, 2, 2, 1], [0, 0, 0, 0, 0]

此外，对于每个标签，我在不同的类别之间非常不平衡，即训练集中90％的示例属于集合0。因此，我想执行加权softmax交叉熵，以便计算每个标签的损失（以及之后的平均值）。

尝试使用：

tf.losses.sparse_softmax_cross_entropy # but it seems that it performs weightening between different label and not between classes for each label.

tf.nn.softmax_cross_entropy_with_logits,  tf.nn.softmax_cross_entropy_with_logits_v2  # does not have weightening option ever

tf.nn.weighted_cross_entropy_with_logits  # good only for binary classification

我想找到compute_loss函数以以下方式计算损失：

loss = compute_loss(logits=my_logits, labels=my_labels, weights=my_weights)

其中

my_logits is of shape [batch_size, N_labels, N_classes]
my_labels is of shape [batch_size, N_labels]
my_weight is of shape [N_labels, N_classes]

请注意，每个标签的权重可能有所不同（针对类）

Answer 1

我认为您需要tf.losses.sigmoid_cross_entropy，正如您所描述的，它使用multi_class_labels，并且具有应用权重的功能。 https://www.tensorflow.org/api_docs/python/tf/losses/sigmoid_cross_entropy

示例：假设您遇到一个多类多标签分类问题，其中总共有10个类，并且单个示例的标签看起来像[1, 3, 6]，这意味着示例包含类1、3和6。
您需要使用k-hot编码

labels = tf.reduce_max(tf.one_hot([1, 3, 6], 10, dtype=tf.int32), axis=0)

在这种情况下，输出将为[0, 1, 0, 1, 0, 0, 1, 0, 0, 0]

多类-多标签分类的每类加权损失

1 个答案: