我正在使用Spacy的预训练统计模型,例如en_core_web_md。我试图在两个列表之间找到相似的词。当代码正常工作时。每次运行代码时,加载统计模型都需要花费大量时间。
这是我正在使用的代码。
如何使模型加载更快? 有没有一种方法可以将模型保存到磁盘上?
import spacy
nlp = spacy.load('en_core_web_md')
list1 =['mango','apple','tomato','orange','papaya']
list2 =['mango','fig','cherry','apple','dates']
s_words = []
for token1 in list1:
list_to_sort = []
for token2 in list2:
list_to_sort.append((token1, token2, nlp(str(token1)).similarity(nlp(str(token2)))))
sorted_list = sorted(list_to_sort, key = itemgetter(2), reverse=True)[0][:2]
s_words.append(sorted_list)
similar_words= list(zip(*s_words))[1]