从bigrams概率计算三元组概率

Question

如果文本中的字词为bigram probabilities，那么如何计算trigram probabilities？

例如，如果我们知道P(dog cat) = 0.3和P(cat mouse) = 0.2

我们如何找到P(dog cat mouse)的概率？

谢谢！

Answer 1

在下文中，我将trigram视为三个随机变量A,B,C。因此dog cat horse将是A=dog, B=cat, C=horse。

使用链规则：P(A,B,C) = P(A,B) * P(C|A,B)。如果你想保持准确，那么现在你卡住了。

您可以做的是假设C独立于给定A的{​​{1}}。然后它认为B。和P(C|A,B) = P(C|B)，你应该能够从你的三元组频率计算出来。请注意，在您的情况下，P(C|B) = P(C,B) / P(B)应该是P(C|B) 跟随 C的概率，所以它是B除以概率为BC。

总而言之，当使用条件独立性假设时：

B*

要计算P(ABC) = P(AB) * P(BC) / P(B*) ，您必须总结以P(B*)开头的所有三元组的概率。