愚蠢的退避语言模型

时间:2017-01-04 21:47:19

标签: model implementation

在Chelba,Mikolov等人的“十亿字基准......”的4.1节(标准化愚蠢退避)中,它指出:

...... Stupid Backoff模型不会生成标准化概率。出于计算困惑的目的,模型输出的值在整个LM词汇表中被标准化。

假设一个二元组LM,解释这一点的明显方法是对所有单个单词(使用MLE)进行评分,并使用标准退避公式对单词对进行评分,将unigram和bigram分数相加,得到Sigma,然后除以每个单词(unigram)或西格拉姆)得分由西格玛。这是对报价的正确解释吗?

0 个答案:

没有答案