为什么要将logit解释为'未缩放的日志概率'在sotfmax_cross_entropy_with_logits?

时间:2018-01-28 07:00:21

标签: python tensorflow machine-learning probability-theory

在张量流文档(softmax_cross_entropy_with_logits)中,他们说" logits:unscaled log probablilty"。什么是记录概率'?首先,我理解' logits' as'在归一化之前输出'或者'为班级得分。

    logits = tf.matmul(X,W) + b
    hypothesis = tf.nn.softmax(logits)

如果我通过tf.matmul(X,W)+ b得到[1.5,2.4,0.7],那么[1.5,2.4,0.7]是logits(得分),这是未缩放的。到目前为止我能理解它。但是,我无法理解为什么[1.5,2.4,0.7]会记录概率'。

2 个答案:

答案 0 :(得分:2)

如果你将softmax函数的输出解释为概率(我们喜欢这样做),那么很容易看出" log probability"来自:

softmax功能

\ EXP {Z_K} / \ sum_i {\ EXP {z_i}},

使用z_i作为" logits"的组件。分母只关注归一化,即它确保所有输出总和为1(如果我们想将它们解释为一组互斥类的概率,这是有意义的)。因此,查看分子,softmax函数的输出基本上只是exp(z)。如果我们将其解释为概率,则z(" logits")是非标准化概率的对数。

答案 1 :(得分:1)

谢谢大家!

我找到了这篇文章。它几乎解决了我的问题。

https://stats.stackexchange.com/questions/52825/what-does-the-logit-value-actually-mean