Question

当我打开verb.exc时，我可以看到

saw see

虽然我在代码中使用词形还原

>>>print lmtzr.lemmatize('saw', 'v')
saw

这怎么可能发生？我在修改wordNet时会误解吗？

Answer 1

简而言之：

这是一种奇怪的例外情况。

还有I saw the log the into half.其中＆＃34;看到＆＃34;是一个现在时的动词。

请参阅@nschneid解决方案，在提出的问题中使用更多细粒度代码：https://github.com/nltk/nltk/issues/1196

长：

如果我们看看我们如何在NLTK中调用WordNet变形器：

>>> from nltk.stem import WordNetLemmatizer
>>> wnl = WordNetLemmatizer()
>>> wnl.lemmatize('saw', pos='v')
'saw'
>>> wnl.lemmatize('saw')
'saw'

指定POS标签似乎是多余的。让我们来看看变形码本身：

class WordNetLemmatizer(object):
    def __init__(self):
        pass

    def lemmatize(self, word, pos=NOUN):
        lemmas = wordnet._morphy(word, pos)
        return min(lemmas, key=len) if lemmas else word

它的作用是依赖于wordnet语料库的_moprhy属性来返回可能的引理。

如果我们浏览nltk.corpus.wordnet代码，我们会在https://github.com/nltk/nltk/blob/develop/nltk/corpus/reader/wordnet.py#L1679

看到_morphy()代码

该函数的前几行从wordnet＆＃39; s verb.exc读取异常文件，即https://github.com/nltk/nltk/blob/develop/nltk/corpus/reader/wordnet.py#L1687

因此，如果我们在lemmatizer函数之外对异常进行临时搜索，我们会看到'saw' -> 'see'：

>>> from nltk.corpus import wordnet as wn
>>> exceptions = wn._exception_map['v']
>>> exceptions['saw']
[u'see']

因此，如果我们在lemmatizer之外调用_morphy()函数：

>>> from nltk.corpus import wordnet as wn
>>> exceptions = wn._exception_map['v']
>>> wn._morphy('saw', 'v')
['saw', u'see']

让我们回到WordNetLemmatizer.lemmatize()代码的返回行，我们看到return min(lemmas, key=len) if lemmas else word：

def lemmatize(self, word, pos=NOUN):
    lemmas = wordnet._morphy(word, pos)
    return min(lemmas, key=len) if lemmas else word

这意味着该函数将以最小长度返回wn._morphy()的输出。但在这种情况下，saw和see都具有相同的长度，因此wn._morphy()返回的列表中的第一个将是返回的，即saw。

有效地，WordNetLemmatizer.lemmatize()正在这样做：

>>> from nltk.corpus import wordnet as wn
>>> wn._morphy('saw', 'v')
['saw', u'see']
>>> min(wn._morphy('saw', 'v'), key=len)
'saw'

所以问题是：

如何避免这种情况＆＃34;错误＆＃34;在NLTK？
如何解决这个问题＆＃34; bug＆＃34;在NLTK？

但请注意，这并不是一个＆＃34; bug＆＃34;但是＆＃34;功能＆＃34;表示表面词的其他可能的引理（尽管该特定上下文中的词很少见，例如I saw the log into half。

如何避免这种情况＆＃34;错误＆＃34;在NLTK？

为了避免这种情况＆＃34; bug＆＃34;在NLTK中，使用nltk.wordnet._morphy()代替nltk.stem.WordNetLemmatizer.lemmatize()，这样您将始终获得可能的引理列表，而不是按长度过滤的引理。引理：

>>> from nltk.corpus import wordnet as wn
>>> exceptions = wn._exception_map['v']
>>> wn._morphy('saw', pos='v')
['saw', 'see']

更多的选择比错误的选择更好。

如何解决此问题＆＃34;错误＆＃34;在NLTK？

除了min(lemmas, key=len)次优，_morphy()函数在处理异常时有点不一致，因为复数词中的罕见含义本身可能是一个引理，例如：使用teeth来引用假牙，请参阅http://wordnetweb.princeton.edu/perl/webwn?s=teeth

>>> wn._morphy('teeth', 'n')
['teeth', u'tooth']
>>> wn._morphy('goose', 'n')
['goose']
>>> wn._morphy('geese', 'n')
[u'goose']

因此，必须在例外列表之后的nltk.wordnet._morphy()函数中引入引理选择中的错误。如果输入表面字出现在例外列表中，例如：

，一个快速的黑客就是立即返回例外列表的第一个实例。

from nltk.corpus import wordnet as wn
def _morphy(word, pos):
    exceptions = wn._exception_map[pos]
    if word in exceptions:
        return exceptions[word]

    # Else, continue the rest of the _morphy code.

即使verb.exc添加了正确的值，为什么NLTK词形还原输出错误？

1 个答案: