Ngram模型和平滑算法

时间:2015-06-03 00:50:11

标签: nlp n-gram

在实施观点的情况下,哪种平滑算法简单有效?

我的训练语料库是十六进制转储,

64 FA EB 63 31 D2 62 22 19 BD 64 B5 63 17 4F 48 62 A8 64 11 0F 62 15 9B 64 9B 1F E1 63 62 BE 63

我想在其上构建一个2,3,4,5-gram语言模型。最终我需要平滑!哪种平滑算法适合并且在这种情况下易于实现?

1 个答案:

答案 0 :(得分:0)

Laplace(add-one)smoothing应该易于实现。在稳健性方面,大多数n-gram工具(KenLM,SRILM,......)将默认为Kneser-Ney smoothing

有关不同平滑技术性能的概述,请参阅http://www.aclweb.org/anthology/P/P96/P96-1041.pdf