为什么logistic回归使用乘法而不是为误差矩阵添加？

Question

这是一个非常基本的问题，但我找不到足够的理由来说服自己。为什么逻辑回归必须使用乘法而不是乘法用于似然函数l（w）？

Answer 1

您的问题不仅仅是逻辑回归的联合可能性。你问为什么我们将概率相乘而不是添加它们来表示联合概率分布。两个注意事项：

1. 当我们假设随机变量是独立的时，这适用。否则，我们需要使用概率链规则来计算条件概率。您可以查看维基百科以获取更多信息。

2. 我们相乘，因为这就是联合分布的定义方式。这是一个简单的例子：

假设我们有两个概率分布：

X = 1, 2, 3,  each with probability 1/3
Y = 0 or 1,  each with probability 1/2

我们想要计算联合似然函数L(X=x,Y=y)，X取值x而Y取值y。< / p>

例如，L(X=1,Y=0) = P(X=1) * P(Y=0) = 1/6。写P(X=1) + P(Y=0) = 1/3 + 1/2 = 5/6是没有意义的。

现在确实，在最大似然估计中，我们只关心某些参数的值，即最大化似然函数的θ。在这种情况下，我们知道如果θ最大化L(X=x,Y=y)，那么相同的theta也会最大化log L(X=x,Y=y)。这是您可能已经看到添加概率的地方。

因此我们可以采用log P(X=x,Y=y) = log P(X=x) + log P(Y=y)

简而言之

这可以概括为“联合概率代表AND”。 X和Y独立时P(X AND Y) = P(X,Y) = P(X)P(Y)。不要与P(X OR Y) = P(X) + P(Y) - P(X,Y)混淆。

如果有帮助，请告诉我。