Python NLTK - 基于按标签返回顶部结果计算棕色语料库中单词的出现次数

时间:2012-11-12 02:42:47

标签: python nltk

我正在尝试从特定标签的语料库中返回最常出现的值。我可以得到标签和单词本身返回正常但是我不能让计数在输出中返回。

import itertools
import collections
import nltk 
from nltk.corpus import brown

words = brown.words()

def findtags(tag_prefix, tagged_text):
cfd = nltk.ConditionalFreqDist((tag, word) for (word, tag) in tagged_text
                              if tag.startswith(tag_prefix))
return dict((tag, cfd[tag].keys()[:5]) for tag in cfd.conditions())

tagdictNNS = findtags('NNS', nltk.corpus.brown.tagged_words())

返回以下

for tag in sorted(tagdictNNS):
    print tag, tagdictNNS[tag]

我已经设法使用以下方法返回每个基于NN的单词的计数:

pluralLists = tagdictNNS.values()
pluralList = list(itertools.chain(*pluralLists)) 
for s in pluralList:
    sincident = words.count(s)
    print s
    print sincident

返回一切。

是否有更好的方法将事件插入字典tagdictNN[tag]

编辑1:

pluralLists = tagdictNNS.values()[:5]
pluralList = list(itertools.chain(*pluralLists))

以for s循环的大小顺序返回它们。尽管如此,仍然不是正确的方法。

编辑2:更新的词典,以便他们实际搜索NNS复数。

1 个答案:

答案 0 :(得分:0)

我可能不明白,但鉴于你的tagdictNNS:

>>> new = {}
>>> for k,v in tagdictNNS.items():
        new[k] = len(tagdictNNS[k])
>>> new
{'NNS$-TL-HL': 1, 'NNS-HL': 5, 'NNS$-HL': 4, 'NNS-TL': 5, 'NNS-TL-HL': 5, 'NNS+MD': 2,      'NNS$-NC': 1, 'NNS-TL-NC': 1, 'NNS$-TL': 5, 'NNS': 5, 'NNS$': 5, 'NNS-NC': 5}

然后你可以做类似的事情:

>>> sorted(new.items(), key=itemgetter(1), reverse=True)[:2]
[('NNS-HL', 5), ('NNS-TL', 5)]