理解nlp中的最大似然

时间:2017-03-15 18:25:59

标签: nlp mle

我试图了解NLP的最大可能性。我在看这个预言:

http://www.phontron.com/slides/nlp-programming-en-01-unigramlm.pdf(第9页)

我在Manning和Schütze的统计语言处理基础中看到了相同的等式。

现在,我理解MLE的方式就是这个:

我知道实验的结果,我知道基础分布,但我不知道单个事件的可能性。 MLE通过找到最有可能给出我的观察的概率值来帮助我找到概率(或更一般的未知参数)。

所以MLE告诉我,当任何单个事件的概率为x时,观察某个事件的概率最高。

现在如果这是真的,为什么幻灯片上没有微积分?为什么在这种情况下MLE是通过一个简单的分数来计算的?我不知道这与MLE有什么关系?

我想,MLE是一个最大化问题......?

1 个答案:

答案 0 :(得分:1)

MLE确实是一个最大化问题。在幻灯片中,他们跳过了计算,只是指出了MLE的结果。如果您想查看完整的派生,可以在此处查看第3页 http://statweb.stanford.edu/~susan/courses/s200/lectures/lect11.pdf

此链接解释了如何找到多项分布参数的最大似然估计,同样类型的计算也会导致您在幻灯片中看到的结果。

链接中的n与幻灯片中的c(w1,…,wi−1)相对应(因为这是案例总数),链接中的x_i与您的c(w1,…,wi)相对应幻灯片(因为这是您要计算的特定案例的总数,在所有案例中)。