Question

我希望能够使用nltk collocations将多个过滤器的组合应用于双字母组合。问题如下：

我需要保留不止一次出现或出现在单词列表中的双字母。请注意，我想 KEEP 单词列表中的双字母组 - 如果我想删除它们，我可以简单地应用一个过滤器。

我知道有一个频率过滤器，我也可以使用以下方法分别检查列表中的单词：

lambda *w: w not in [w1,w2,w3]

但是我不知道如何检查这个函数中bigram的频率。

我们如何获得传递给lambda的双字母组合的频率？

Answer 1

好的，您想要同时查询频率和单词列表。因此，创建一个构造过滤器的函数，该过滤器参考评分字典和定义的单词列表，如下所示：

def create_filter_minfreq_inwords(scored, words, minfreq):
    def bigram_filter(w1, w2):
        return (w1 not in words and w2 not in words) and (
                (w1, w2) in scored and scored[w1, w2] <= minfreq)
    return bigram_filter

然后，您需要首先使用finder.score_ngrams和BigramAssocMeasures.raw_freq创建频率字典，然后使用上述函数创建双字母过滤器。这是一个例子，一步一步：

import nltk

# create some text and tokenize it
text = "This is a text. Written for test purposes, this is a text."
tokens = nltk.wordpunct_tokenize(text)

# initialize finder object with the tokens
finder = nltk.collocations.BigramCollocationFinder.from_words(tokens)

# build a dictionary with bigrams and their frequencies
bigram_measures = nltk.collocations.BigramAssocMeasures()
scored = dict(finder.score_ngrams(bigram_measures.raw_freq))

# build a word list
words = ['test', 'This']

# create the filter...
myfilter = create_filter_minfreq_inwords(scored, words, 0.1)

print 'Before filter:\n', list(finder.score_ngrams(bigram_measures.raw_freq))

# apply filter
finder.apply_ngram_filter(myfilter)

print '\nAfter filter:\n', list(finder.score_ngrams(bigram_measures.raw_freq))

在nltk搭配中组合过滤器

1 个答案: