spacy中的以下线程是否安全?
nlp = spacy.load('en')
nlp(text)
答案 0 :(得分:1)
是的。有关更多信息,请参见此线程(无双关语...):https://github.com/explosion/spaCy/issues/172
如果可能的话,可以考虑调用nlp
而不是对nlp.pipe
的调用进行多线程处理,这是对spaCy管道的多线程调用。
for doc in nlp.pipe(texts, n_threads=16, batch_size=10000):
analyse_text(doc)
此处有更多信息:https://explosion.ai/blog/multithreading-with-cython