Spacy nlp(文本)线程安全吗?

时间:2017-09-12 12:09:54

标签: python spacy

spacy中的以下线程是否安全?

nlp = spacy.load('en')
nlp(text)

1 个答案:

答案 0 :(得分:1)

是的。有关更多信息,请参见此线程(无双关语...):https://github.com/explosion/spaCy/issues/172

如果可能的话,可以考虑调用nlp而不是对nlp.pipe的调用进行多线程处理,这是对spaCy管道的多线程调用。

for doc in nlp.pipe(texts, n_threads=16, batch_size=10000):
    analyse_text(doc)

此处有更多信息:https://explosion.ai/blog/multithreading-with-cython