在实施观点的情况下,哪种平滑算法简单有效?
我的训练语料库是十六进制转储,
64 FA EB 63 31 D2 62 22 19 BD 64 B5 63 17 4F 48 62 A8 64 11 0F 62 15 9B 64 9B 1F E1 63 62 BE 63
我想在其上构建一个2,3,4,5-gram语言模型。最终我需要平滑!哪种平滑算法适合并且在这种情况下易于实现?
答案 0 :(得分:0)
Laplace(add-one)smoothing应该易于实现。在稳健性方面,大多数n-gram工具(KenLM,SRILM,......)将默认为Kneser-Ney smoothing。
有关不同平滑技术性能的概述,请参阅http://www.aclweb.org/anthology/P/P96/P96-1041.pdf