Question

因此，基本上，我们通常像这样定义交叉熵：

dim = 5



logits = tf.random_normal([5,3],dtype=tf.float32)

labels = tf.cast(tf.one_hot(10,5),tf.int32)

cost_entropy = tf.nn.sparse_softmax_cross_entropy_with_logits(logits=logits,labels=labels)


with tf.Session() as sess:
    a,b=sess.run([logits,labels])
    print(b)
    print(sess.run(cost_entropy))
    print('\n')
    print(a)

输出：

[0 0 0 0 0]
[1.8559302 2.1816468 2.9526126 1.5903687 2.500083 ]


[[ 0.1913337   0.32995617 -0.23624638]
 [ 0.65993434 -0.2852072  -1.1419022 ]
 [-0.2529132  -0.35611948  0.4710417 ]
 [-0.61094457 -0.76033163 -0.6311429 ]
 [-1.5868235   0.81744194 -0.31859735]]

现在，如果我的登录名是：

[[ 0.1913337   0.32995617 -0.23624638]
 [ 0.65993434 -0.2852072  -1.1419022 ]
 [-0.2529132  -0.35611948  0.4710417 ]
 [-0.61094457 -0.76033163 -0.6311429 ]
 [-1.5868235   0.81744194 -0.31859735]]

我的标签是类似Logit的形状：

[ [ 0     1   0]
  [ 1     0   1]
  [1      1   0]
  [1      1   1]
  [0      0   0] ]

所以logits中的每个值都有一个0或1（一种热编码），我如何实现呢？我尝试过

 `tf.nn.sparse_softmax_cross_entropy_with_logits`

和

`tf.nn.softmax_cross_entropy_with_logits`

但是它给出了错误。

更多说明：

所以假设我的输入是。 [ [12 , 14 , 15 ] . , [23 ,24 , 25 ] ]。现在我将获得此输入的logit。 [ [ 0.11 , -0.1 , 0.2 ] , [0.91 0.2 0.12] ]。现在我的标签是用于此logit的。 [ [ 0, 0 , 1 ] , [ 1 , 0 ,1 ] ]。这意味着我想要。 [0.2]来自第一个，[0.91 , 0.12]来自第二个

从此向量[ 0.11 , -0.1 , 0.2 ]的

。我要最后一个，所以我的标签是[ 0 , 0 ,1 ] 从此向量[0.91 0.2 0.12]中。我想要第一个和最后一个，所以我想要[ 1, 0, 1]

Answer 1

您似乎正在寻找多标签分类。这是一个工作示例：

dim = 5

tf.reset_default_graph()

logits = tf.random_normal([2,3],dtype=tf.float32)

labels = tf.Variable([[ 0 , 0 ,1 ], [ 1, 0, 1]], dtype=tf.float32)

cost_entropy = tf.nn.sigmoid_cross_entropy_with_logits(logits=logits,labels=labels)
loss = tf.reduce_sum(tf.reduce_mean(cost_entropy, axis=0))


with tf.Session() as sess:
    tf.global_variables_initializer().run()
    print(sess.run(cost_entropy))
    print(sess.run(loss))

可打印

[[0.68918824 1.1838193  0.40476277]
[1.5736797  0.6862114  0.9196656 ]]
2.4358916

如何为相等的logit和标签定义交叉熵？

1 个答案: