Ruby：是否有一个“知道”英语不规则动词的词干分析器？

Question

有一个红宝石词干https://github.com/aurelian/ruby-stemmer，但它1）不会阻止英语不规则动词2）无法在Windows上构建原生扩展。是否有其他方法可以解决至少一个问题？

Answer 1

我认为你应该寻找一个变形器（它有关于形态学的信息并且可以处理不规则的单词），而不是一个词干分析器（通常只是单词的两端）。请参阅Manning，Raghavan和Schütze关于信息检索的在线书籍中的this explanation。

我还没有尝试过，但是快速搜索了这个Ruby的英文引理词：elemma。

可以进行词形还原的常用（非Ruby）英语形态分析器是morpha。

Answer 2

没有一个词干分子能用英语处理不规则动词。

• https://github.com/ealdent/uea-stemmer - 纯粹的红宝石，写得很好，2009年，有很少的文档，但比其他人多一点，安装在Windows上确定
• https://github.com/romanbsd/fast-stemmer纯C，难以阅读，应该比其他人更快（我没有测试过性能），从2009年开始，有非常少的文档，安装在Windows上OK。 它的方法有副作用。小心创建副本
• https://github.com/aurelian/ruby-stemmer 2010年，它无法在Windows上构建原生扩展。可以处理除英语之外的其他欧洲语言
• http://rubyforge.org/projects/stemmer纯ruby，自2006年以来一直没有更新，并且没有任何文档，在Windows上安装正常，我没弄清楚它是如何工作的
• http://rubyforge.org/projects/stemmer4r - 没有文件，2005年。没试过

Answer 3

我在使用基于ruby的NLP http://mendicantbug.com/2009/09/13/nlp-resources-for-ruby/

进行Google搜索时发现了这一点