TensorFlow calls softmax a logit的每个输入。他们继续将softmax的输入/ logits定义为:“非标定日志概率。”
Wikipedia和其他消息来源说logit是赔率的对数,是sigmoid / logistic函数的倒数。即,如果sigmoid(x)= p(x),则logit(p(x))= log(p(x)/(1-p(x)))= x。
TensorFlow是否有数学或传统的原因来调用softmax的输入“logits”?它们不应该被称为“未缩放的日志概率”吗?
也许TensorFlow只想为二元逻辑回归保留相同的变量名(使用术语logit是有意义的)和分类逻辑回归......
这个问题是covered a little bit here,但似乎没有人因使用“logit”这个词来表示“未缩放的对数概率”而感到困扰。
答案 0 :(得分:14)
Logit现在在ML社区中用于任何非标准化概率分布(基本上通过无参数变换映射到概率分布的任何东西,如二元变量的sigmoid函数或多项式变量的softmax)。它不是一个严格的数学术语,但已获得足够的受欢迎程度,可以包含在TF文档中。