Question

我尝试使用 lemmatize() 中的 gensim 函数。他们说我还必须安装 pattern 才能使用此功能。我已经安装了 gensim 和模式，但是每次我尝试从 gensim 导入 lemmatize 时，它一直显示此错误

我使用 pip install gensim 和 pip install pattern 来安装库。我的gensim版本是4.0.1，模式是3.6

Traceback (most recent call last):
  File "c:\Users\huynh\Desktop\machine_learning\test.py", line 1, in <module>
    from gensim.utils import lemmatize
ImportError: cannot import name 'lemmatize' from 'gensim.utils' (C:\Users\huynh\AppData\Local\Programs\Python\Python39\lib\site-packages\gensim\utils.py)

我试图查找有关此的文档，但我只能找到我必须安装 pattern 才能使用它。有谁知道为什么我仍然没有 lemmatize()？谢谢

Answer 1

Gensim 之前只包装了另一个库 (Pattern) 的词形还原例程——这不是一个特别现代或维护良好的选项，因此它已从 Gensim-4.0 中删除。

如果用户认为有必要，可以选择并应用他们自己的词形还原操作，作为应用 Gensim 算法之前的预处理步骤。

一些提供词形还原的 Python 库包括：

Pattern（Gensim 之前包含的选项，可以直接使用，而不是通过 Gensim 的旧支持）：https://github.com/clips/pattern
NLTK：https://www.nltk.org/api/nltk.stem.html#nltk.stem.wordnet.WordNetLemmatizer
UDPipe：https://ufal.mff.cuni.cz/udpipe
斯帕西：https://spacy.io/api/lemmatizer
节：https://stanfordnlp.github.io/stanza/

Answer 2

就目前而言，最好的办法是使用 gensim 3.xx 版本，如 API 文档中的 4.0.0 版本，gensim.utils.lemmatize() 不是 strong> 列出，而它是针对 3.8.3 版本 here 列出的。

编辑：

在进一步阅读文档的过程中，我发现了一个使用 nltk 包实现 lemmatize() 函数的教程。您可能想查看 this。似乎他们已经放弃了 utils.lemmatize()

尽管我已经安装了 Pattern，但无法从“gensim.utils”导入名称“lemmatize”

2 个答案: