理解逻辑回归的概率解释

Question

我在开发关于逻辑回归的概率解释的直觉方面存在问题。具体来说，为什么将逻辑回归函数的输出视为概率是有效的？

谢谢！

Answer 1

任何类型的分类都可以被视为概率生成模型通过对类条件密度p(x|C_k)进行建模（即给出类C_k，什么是＆＃39; x属于该班级的概率）和班级p(C_k)（即班级C_k的概率是什么），以便我们可以应用贝叶斯＆＃39;定理得到后验概率p(C_k|x)（即给定x，它属于类C_k的概率是多少）。它被称为生成，因为正如Bishop在他的书中所说，你可以使用该模型通过从边际分布x中绘制p(x)的值来生成合成数据。 p>

这一切只是意味着每次你想要将某些东西分类到一个特定的类别（例如肿瘤的大小是良性的恶性）时，就会有正确或错误的概率。

Logistic回归使用sigmoid function（或逻辑函数）来对数据进行分类。由于此类函数的范围从0到1，因此您可以轻松地将其视为概率分布。最终，你正在寻找p(C_k|x)（在这个例子中，x可能是肿瘤的大小，而C_0是代表良性和C_1恶性的类别），并且在后勤的情况下回归，这是建模的：

p(C_k|x) = sigma( w^t x )

其中sigma是sigmoid函数，w^t是转置的权重集w，而x是你的特征向量。

我强烈建议您阅读Bishop's book的第4章。

Answer 2

•Logistic回归的概率解释基于以下3个假设：

1. 特征是实值高斯分布。
2. 响应变量是伯努利随机变量。例如，在二元类问题中，yi = 0或1。
3. 对于所有i和j！= i，xi和xj在给定y的条件下是独立的。 （朴素贝叶斯假设）

基本上，

Logistic-Reg =高斯朴素贝叶斯+贝努利类标签

•下图所示的优化方程：

•P（y = 1或0 / X）的方程式如下图所示：

•如果我们做一些数学运算，我们可以看到逻辑回归的几何和概率解释都归结为同一件事。

•此link有助于您了解有关Logistic回归和朴素贝叶斯的更多信息。