Question

我想不接受推文短语，代码如下。问题是它一次只处理300条推文并花费5分钟，如何加速？

顺便说一下，根据文本blob编辑了一些代码。

我使用gate-EN-twitter（https://gate.ac.uk/wiki/twitter-postagger.html）和NLTK接口的数据集到Stanford POS标记器来标记推文

from nltk.tag import StanfordPOSTagger
from nltk.tokenize import word_tokenize
import time,nltk
start_time = time.time()

CFG = {
        ('NNP', 'NNP'): 'NNP',
        ('NN', 'NN'): 'NNI',
        ('NNI', 'NN'): 'NNI',
        ('JJ', 'JJ'): 'JJ',
        ('JJ', 'NN'): 'NNI',
        }

st = StanfordPOSTagger('/models/gate-EN-twitter.model','/twitie_tagger/twitie_tag.jar', encoding='utf-8')


def _normalize_tags(chunk):
    '''Normalize the corpus tags.
    ("NN", "NN-PL", "NNS") -> "NN"
    '''
    ret = []
    for word, tag in chunk:
        if tag == 'NP-TL' or tag == 'NP':
            ret.append((word, 'NNP'))
            continue
        if tag.endswith('-TL'):
            ret.append((word, tag[:-3]))
            continue
        if tag.endswith('S'):
            ret.append((word, tag[:-1]))
            continue
        ret.append((word, tag))
    return ret



def noun_phrase_count(text):
    matches1=[]
    print('len(text)',len(text))
    for i in range(len(text)//1000):
        tokenized_text = word_tokenize(text[i*1000:i*10000+1000])
        classified_text = st.tag(tokenized_text)
        tags = _normalize_tags(classified_text)


        merge = True
        while merge:
            merge = False
            for x in range(0, len(tags) - 1):
                t1 = tags[x]
                t2 = tags[x + 1]
                key = t1[1], t2[1]
                value = CFG.get(key, '')
                if value:
                    merge = True
                    tags.pop(x)
                    tags.pop(x)
                    match = '%s %s' % (t1[0], t2[0])
                    pos = value
                    tags.insert(x, (match, pos))
                    break

        matches = [t[0] for t in tags if t[1] in ['NNP', 'NNI']] 
        matches1+=matches   
        print("--- %s seconds ---" % (time.time() - start_time))
    fdist = nltk.FreqDist(matches1)
    return [(tag,num) for (tag, num) in fdist.most_common()]

noun_phrase_count(tweets)

Answer 1

看起来像是Stanford POS tagger with GATE twitter model is slow的副本，因此您可以在那里找到更多信息。

此外;如果有任何机会绊倒相同的输入（推文）两次（或更多），你可以考虑使用推文（普通str）作为键的字典，并标记为值，这样当你遇到推文时，你首先检查它是否已经在你的词典中。如果没有，请标记并将其放在那里（如果此路由可行，为什么不挑选/取消该字典，以便调试/后续运行代码也更快）。

如何使用StanfordPOSTagger加速“POS标签”？

1 个答案: