如何使Spacy的统计模型更快

时间:2018-11-19 12:40:59

标签: python-3.x nlp spacy

我正在使用Spacy的预训练统计模型,例如en_core_web_md。我试图在两个列表之间找到相似的词。当代码正常工作时。每次运行代码时,加载统计模型都需要花费大量时间。

这是我正在使用的代码。

如何使模型加载更快? 有没有一种方法可以将模型保存到磁盘上?

import spacy
nlp = spacy.load('en_core_web_md')
list1 =['mango','apple','tomato','orange','papaya']   
list2 =['mango','fig','cherry','apple','dates']
s_words = []
for token1 in list1:
    list_to_sort = [] 
    for token2 in list2:
        list_to_sort.append((token1, token2, nlp(str(token1)).similarity(nlp(str(token2)))))

    sorted_list = sorted(list_to_sort, key = itemgetter(2), reverse=True)[0][:2]
    s_words.append(sorted_list)
    similar_words= list(zip(*s_words))[1]

0 个答案:

没有答案