我试图了解NLP的最大可能性。我在看这个预言:
http://www.phontron.com/slides/nlp-programming-en-01-unigramlm.pdf(第9页)
我在Manning和Schütze的统计语言处理基础中看到了相同的等式。
现在,我理解MLE的方式就是这个:
我知道实验的结果,我知道基础分布,但我不知道单个事件的可能性。 MLE通过找到最有可能给出我的观察的概率值来帮助我找到概率(或更一般的未知参数)。
所以MLE告诉我,当任何单个事件的概率为x时,观察某个事件的概率最高。
现在如果这是真的,为什么幻灯片上没有微积分?为什么在这种情况下MLE是通过一个简单的分数来计算的?我不知道这与MLE有什么关系?
我想,MLE是一个最大化问题......?
答案 0 :(得分:1)
MLE确实是一个最大化问题。在幻灯片中,他们跳过了计算,只是指出了MLE的结果。如果您想查看完整的派生,可以在此处查看第3页 http://statweb.stanford.edu/~susan/courses/s200/lectures/lect11.pdf
此链接解释了如何找到多项分布参数的最大似然估计,同样类型的计算也会导致您在幻灯片中看到的结果。
链接中的n
与幻灯片中的c(w1,…,wi−1)
相对应(因为这是案例总数),链接中的x_i
与您的c(w1,…,wi)
相对应幻灯片(因为这是您要计算的特定案例的总数,在所有案例中)。