在python nltk中，我试图通过使用pos_tag获取单词的词性。但我得到的输出不准确？告诉我更好的标记器？

Question

import nltk
from nltk import word_tokenizer

w="cat"
word=nltk.word_tokenize(w)
print nltk.pos_tag(word)

output:[('cat','IN')]

但是cat是名词，但它返回为IN（连词）。

Answer 1

POS标记在句子上下文中并不能很好地工作。将整个句子输入pos_tag而不是单个单词，然后再试一次。如果它不起作用，请使用nltk.download()获取更好的POS标记模型并运行它。

如果您需要单个单词的所有POS标记，请尝试使用WordNet：

In [9]: nltk.corpus.wordnet.synsets('cat')
Out[9]: 
[Synset('cat.n.01'),
 Synset('guy.n.01'),
 Synset('cat.n.03'),
 Synset('kat.n.01'),
 Synset("cat-o'-nine-tails.n.01"),
 Synset('caterpillar.n.02'),
 Synset('big_cat.n.01'),
 Synset('computerized_tomography.n.01'),
 Synset('cat.v.01'),
 Synset('vomit.v.01')]

（如你所见，你可能需要过滤这些。）

Answer 2

尝试使用预训练模型的hunpos en_wsj.model：

$ gzip -d en_wsj.model.gz 
$ wget https://hunpos.googlecode.com/files/en_wsj.model.gz
$ python
>>> from nltk.tag.hunpos import HunposTagger
>>> from nltk.tokenize import word_tokenize
>>> sent = "cat"
>>> ht = HunposTagger('en_wsj.model')
>>> print ht.tag(word_tokenize(sent))
[('cat', 'NN')]

请参阅How do I tag textfiles with hunpos in nltk?，hunpos总是比NLTK中的默认pos_tag好得多。