GDA的对数似然函数(高斯判别分析)

时间:2015-09-06 14:16:30

标签: machine-learning statistics probability gaussian

我无法理解Andrew Ng的CS229笔记中给出的GDA似然函数。

l(φ,μ0,μ1,Σ)= log(从i到m的乘积){p(x(i)| y(i);μ0,μ1,Σ)p(y(i);φ) }

链接为http://cs229.stanford.edu/notes/cs229-notes2.pdf第5页。

对于线性回归,函数是从i到m p的乘积(y(i)| x(i); theta) 这对我来说很有意义。 为什么这里有一个变化,说它由p(x(i)| y(i)给出,并乘以p(y(i); phi)? 提前致谢

1 个答案:

答案 0 :(得分:1)

第5页的起始公式是

x = 001

暂时省略参数l(φ,µ0,µ1,Σ) = log <product from i to m> p(x_i, y_i;µ0,µ1,Σ,φ) ,可以简化为

φ,µ0,µ1,Σ

使用链规则可以将其转换为

l = log <product> p(x_i, y_i)

l = log <product> p(x_i|y_i)p(y_i)

在第5页公式中,l = log <product> p(y_i|x_i)p(x_i). 已移至φ,因为只有p(y_i)取决于它。

可能性以联合概率分布p(y)而不是条件概率分布p(x,y)开始,这就是为什么GDA被称为生成模型(模型从x到y和从y到x),而逻辑回归被认为是一种歧视模型(模型从x到y,单向)。两者都有其优点和缺点。下面似乎还有一章关于这一点。