Python多处理和NLTK wordnet路径相似性

Question

我正在使用多处理池来加速文本语料库上标题的提取过程。在代码的一个阶段，我正在使用wordnet路径相似性模块来确定两个单词的相似性。

如果我按顺序运行我的代码（即不使用多处理池），则在计算此路径相似度时会得到正常时间。但是，当我使用多重处理同时处理多个文档时，与顺序相比，在计算此路径相似性时会观察到很大的时间延迟。 问题：NLTK是否显示多处理模块有任何问题？

Answer 1

很有可能在单独的进程中的模块尝试使用Wordnet数据访问同一文件。这将导致依赖GIL来访问文件或使用OS级别的文件锁。两种情况都可以解释您所观察到的行为。