使用Python spaCy命名实体识别

Question

我想使用Python spaCy包对命名实体识别系统进行编码。但是，我无法在spaCy软件包中安装本地语言。有谁能告诉我如何安装或以其他方式使用我的本地语言？

我尝试过：

python -m spacy downloadxx_ent_wiki_sm?

感谢您的帮助！

Answer 1

spaCy通过独立模型支持有限的语言。如果您的语言是以下语言之一：

中文，丹麦语，荷兰语，英语，法语，德语，希腊语，意大利语，日语，立陶宛语，挪威语，博克马尔语，波兰语，葡萄牙语，罗马尼亚语或西班牙语

然后，您可以通过使用已发布的类似命令首先安装模型来加载模型，例如：

# Lithuanian language
python -m spacy download lt_core_news_sm

# Japanese language
python -m spacy download ja_core_news_sm

您将必须在命令行（终端）中运行此命令。模型下载完成并链接后，您可以像这样导入它：

import spacy

# Loading the Japanese language model.
nlp = spacy.load("ja_core_news_sm")

spaCy还支持多语言模型，如果自己的模型不支持您的语言，则可以尝试使用该语言。为此，您可以这样做（看起来您已经尝试在提供的命令中安装它）：

# In command line
python -m spacy download xx_ent_wiki_sm

# In Python
import spacy
nlp = spacy.load("xx_ent_wiki_sm")

但是，不要期望使用多语言模型会得到最新的结果，因为它没有像其他模型那样专门针对一种语言进行训练。