如何安装语言模型

时间:2019-09-07 20:41:57

标签: python nlp spacy

我正在探索将NLP用于某些机器学习项目。我通常使用Jupyter笔记本或PyCharm作为IDE通过Anaconda使用python编写所有项目。

我想开始使用spacy,并计划在不久的将来参加一个关于它的研讨会。我先提出了两项​​建议。安装spacy并安装en_core_web_lg语言模型。我完成了第一步,只是在Anaconda环境中(传统方式)搜索了spacy软件包并安装了它。但是,就安装语言模型而言,由于它不是传统软件包,因此我不太熟悉如何在计算机上获取此语言。

spacy安装网站在这里引用:https://spacy.io/models/en#en_core_web_lg可以使用以下语言安装该语言模型:

INSTALLATION

$ python -m spacy download en_core_web_lg

我假设这是通过终端发出的命令?我对使用终端不是很有经验,但是尝试在命令行之一中键入以上命令并按Enter键,但没有任何反应。这是安装此模型的正确方法吗?我应该如何安装?此外,出于教学目的,安装模型时究竟发生了什么?它存在于我们的计算机上,然后可以称为Jupyter笔记本用于NLP。

很抱歉,如果这些问题看起来很基本,我仍在尝试学习这些新技术。任何帮助,参考或建议,将不胜感激。

谢谢。

2 个答案:

答案 0 :(得分:2)

确保使用virtualenv或conda激活环境,并按照@Aris的说明安装spaCy。

要安装spaCy

pip install -U spacy

要安装特定模型,请使用模型名称(例如en_core_web_lg)运行以下命令:

python -m spacy download [model]

要加载模型,请使用spacy.load()和模型名称,快捷方式链接或模型数据目录的路径。

import spacy
nlp = spacy.load("en_core_web_sm")
doc = nlp(u"This is a sentence.")

您还可以直接通过其全名导入模型,然后不带任何参数调用其load()方法。这也适用于以前版本的spaCy中的旧型号。

import spacy
import en_core_web_lg

nlp = en_core_web_lg.load()
doc = nlp(u"This is a sentence.")

答案 1 :(得分:1)

您应该激活创建的环境并安装spacy,然后安装模型。

conda create -n myenv
conda activate myenv
conda install -c conda-forge spacy
python -m spacy download en_core_web_lg

然后,您将能够加载语言模型。并且,对于第二个问题,您具有下载模型的本地安装。您可以在脚本和笔记本中使用它。