如何在给出引理和令牌的情况下反演词形还原过程?

时间:2017-08-09 12:08:21

标签: python nlp nltk lemmatization

通常,在自然语言处理中,我们希望获得令牌的引理。

例如,我们可以使用wordnet词形还原将'吃'映射到'吃'。

python中是否有任何工具可以将某种形式的引理反转?

例如,我们将'go'映射为'gone'给定目标形式'eaten'。

PS:有人提到我们必须存储这样的映射。 How to un-stem a word in Python?

1 个答案:

答案 0 :(得分:1)

将诸如引理之类的基本形式转换为适合情境的形式称为realization(或“表面实现”)。维基百科的例子:

NPPhraseSpec subject = nlgFactory.createNounPhrase("the", "woman");
subject.setPlural(true);
SPhraseSpec sentence = nlgFactory.createClause(subject, "smoke");
sentence.setFeature(Feature.NEGATED, true);
System.out.println(realiser.realiseSentence(sentence));
// output: "The women do not smoke."

这种文库并不像词形词一样频繁使用,这通常意味着你有更少的选择,并且不太可能找到一个发展良好的库。维基百科的例子是Java,因为支持它的最受欢迎的库是SimpleNLG

快速搜索pynlg,但似乎没有积极维护。或者,您可以通过Python库nlgserv提供的HTTP JSON接口使用SimpleNLG。