如果语料中仅出现n-1克，如何计算退避语言模型的概率

Question

我用BerkelyLM训练了一种语言模型，并得到了一些难以置信的结果： 当n-gram没有出现在训练语料库中但是（n-1）-gram（即w_2，...，w_n）出现在语料库中时，BerkeleyLM会得出（n-1）-gram几率而没有任何退避因素。这是错误吗？

最小示例：从以下位置训练3克Kneser-Ney-LM：

  

一二三

     

一二四

并询问[“三个”，“两个”，“四个”]的概率将产生[“两个”，“四个”]的概率 从公式中，我希望得到0的概率或至少一些不同于1的退避因子。