Question

我使用nltk 3.0.4并注意到词boss和bosses的词条不同。

from nltk.stem.wordnet import WordNetLemmatizer

wnl = WordNetLemmatizer()

print wnl.lemmatize("boss", "n")
# returns "bos"

print wnl.lemmatize("bosses", "n")
# returns "boss"

从我的观点来看，这是一种奇怪的行为，尤其是boss在WordNet中是known word，并且rule可以保留ss。

有没有人有解释或者这只是一个错误？我应该怎么处理呢？

Answer 1

在检查了为给定字词生成可能分析的code（_morphy()）后，我发现没有包含规则来保留ss。
Bos也是wordnet中的基本形式。

替代规则：

MORPHOLOGICAL_SUBSTITUTIONS = {
    NOUN: [('s', ''), ('ses', 's'), ('ves', 'f'), ('xes', 'x'),
           ('zes', 'z'), ('ches', 'ch'), ('shes', 'sh'),
           ('men', 'man'), ('ies', 'y')],
    VERB: [('s', ''), ('ies', 'y'), ('es', 'e'), ('es', ''),
           ('ed', 'e'), ('ed', ''), ('ing', 'e'), ('ing', '')],
    ADJ: [('er', ''), ('est', ''), ('er', 'e'), ('est', 'e')],
    ADV: []}

致电print wnl.lemmatize("boss", "n")：

由于在应用替换规则时可以找到合适的基本形式（Bos），因此会返回该形式。如果这不包含在wordnet中，则boss的引理将是boss，因为找不到更短的形式。

Answer 2

这是一个错误。如果一个单词以＆＃34; s＆＃34;结尾是名词的单数形式，在进行名词词形还原时，该词应始终作为答案之一返回。老板，损失，苔藓，镜头等都属于这种情况。如果＆＃34; len＆＃34;是一个单数名词，也应该返回。但还有一个问题。删除＆＃34; s＆＃34;揭示现有的干，＆＃34; bos＆＃34;在这种情况下，该词干不应该以＆＃34; s＆＃34;结尾。＆＃34; e＆＃34;插入拼写规则适用于以＆＃34; s＆＃39;，＆＃34; z＆＃34;，＆＃34; x＆＃34;，＆＃34; ch＆＃34;和＆＃34结尾的单词; sh＆＃34 ;,会成功多个＆＃34; bos＆＃34; be＆＃34; boses＆＃34;。对于这个离群值的复数而言，这似乎更好地猜测了＃34; boss＆＃34;。需要实现的约束是，除非标记为不规则，否则在运行复数拼写规则时，应生成输入表单。因为＆＃34; bos＆＃34;没有给老板＆＃34;当应用拼写规则时，不应将其分析为＆＃34;老板的单数。

NLTK中的WordNet引理器：＆＃34; boss＆＃34;是什么是正确的引理？

2 个答案: