为什么TensorFlow的文档会调用softmax的输入“logits”?

时间:2017-05-26 21:37:38

标签: machine-learning tensorflow documentation logistic-regression softmax

TensorFlow calls softmax a logit的每个输入。他们继续将softmax的输入/ logits定义为:“非标定日志概率。”

Wikipedia和其他消息来源说logit是赔率的对数,是sigmoid / logistic函数的倒数。即,如果sigmoid(x)= p(x),则logit(p(x))= log(p(x)/(1-p(x)))= x。

TensorFlow是否有数学或传统的原因来调用softmax的输入“logits”?它们不应该被称为“未缩放的日志概率”吗?

也许TensorFlow只想为二元逻辑回归保留相同的变量名(使用术语logit是有意义的)和分类逻辑回归......

这个问题是covered a little bit here,但似乎没有人因使用“logit”这个词来表示“未缩放的对数概率”而感到困扰。

1 个答案:

答案 0 :(得分:14)

Logit现在在ML社区中用于任何非标准化概率分布(基本上通过无参数变换映射到概率分布的任何东西,如二元变量的sigmoid函数或多项式变量的softmax)。它不是一个严格的数学术语,但已获得足够的受欢迎程度,可以包含在TF文档中。