我无法理解Andrew Ng的CS229笔记中给出的GDA似然函数。
l(φ,μ0,μ1,Σ)= log(从i到m的乘积){p(x(i)| y(i);μ0,μ1,Σ)p(y(i);φ) }
链接为http://cs229.stanford.edu/notes/cs229-notes2.pdf第5页。
对于线性回归,函数是从i到m p的乘积(y(i)| x(i); theta) 这对我来说很有意义。 为什么这里有一个变化,说它由p(x(i)| y(i)给出,并乘以p(y(i); phi)? 提前致谢
答案 0 :(得分:1)
第5页的起始公式是
x = 001
暂时省略参数l(φ,µ0,µ1,Σ) = log <product from i to m> p(x_i, y_i;µ0,µ1,Σ,φ)
,可以简化为
φ,µ0,µ1,Σ
使用链规则可以将其转换为
l = log <product> p(x_i, y_i)
或
l = log <product> p(x_i|y_i)p(y_i)
在第5页公式中,l = log <product> p(y_i|x_i)p(x_i).
已移至φ
,因为只有p(y_i)
取决于它。
可能性以联合概率分布p(y)
而不是条件概率分布p(x,y)
开始,这就是为什么GDA被称为生成模型(模型从x到y和从y到x),而逻辑回归被认为是一种歧视模型(模型从x到y,单向)。两者都有其优点和缺点。下面似乎还有一章关于这一点。