张量流中theano的categorical_crossentropy函数的等价性

时间:2017-05-06 21:03:05

标签: tensorflow theano

张量流中以下theano函数的等效函数是什么?

Theano.tensor.nnet.categorical_crossentropy(o, y)

2 个答案:

答案 0 :(得分:2)

我想你会想要使用Tensorflow的softmax cross-entropy loss。请记住,此图层的输入是未缩放的logits,即您无法将softmax输出提供给此图层。它会给出错误的结果。

使用此损失而不是softmax +分类交叉熵的组合的另一个重要原因是softmax损失更稳定。请参阅Caffe中的this损失。有关稳定性的一些讨论,请参阅this

答案 1 :(得分:1)

对于在第二维中具有概率分布的2D张量:

def crossentropy(p_approx, p_true):
  return -tf.reduce_sum(tf.multiply(p_true, tf.log(p_approx)), 1)