ARPA文件的Python接口

时间:2014-05-26 04:05:03

标签: python nlp n-gram language-model

我正在寻找一个pythonic接口来加载ARPA文件(后退语言模型)并使用它们来评估一些文本,例如得到它的对数概率,困惑等。

我不需要在Python中生成ARPA文件,只是用它来查询。

有人有推荐的套餐吗? 我已经看过kenlmswig-srilm了,但是第一个在Windows中很难设置,第二个似乎不再维护了。

2 个答案:

答案 0 :(得分:4)

我找到了一个名为pynlpl的开发不错的软件包,它完全符合我的需求,只有很少的依赖项(libxml2就足够了),它为ARPA文件提供了纯粹的pythonic实现

答案 1 :(得分:2)

ARPA包怎么样?

它相当轻巧。它的API也非常直观且易于学习。虽然它没有kenlm那么快,但你可能还想尝试一下。

https://pypi.org/project/arpa/