如何在Apache lucene中使用MorfologikAnalyzer进行lemmatization？

Question

我正在使用Apache Lucene创建一个英语搜索引擎。由于我需要为此进行词形化，因此我正在使用 Stanford CoreNLP ，而且我知道该怎么做。

是否可以使用 MorfologikAnalyzer 或类似的现成的Apache Lucene来进行lemmatization？

Answer 1

不幸的是， MorfologikAnalyzer 只能与波兰语一起使用并提供词干功能，而不是进行词形化。

没有内置的Apache Lucene分析器可以为您提供帮助。因此，为您提供的现有选项如下：

• Stanford CoreNLP
• OpenNLP lemmatizer
• NLTK Lemmatizer（Python）

当然，有几种付费的词形化引擎，其中一些可能比上述引擎更加丰富，尤其是如果特定领域（发布等）需要词形化。

我不会在这里列出任何一个，但是如果需要的话，找到它们应该不难。