FastText - 无法加载model.bin,因为C ++扩展无法分配内存

时间:2017-08-28 16:13:46

标签: python nlp embedding fasttext

我尝试使用FastText Python API https://pypi.python.org/pypi/fasttext但是,根据我的阅读,此API无法在{{3}处加载较新的.bin模型文件}如https://github.com/facebookresearch/fastText/blob/master/pretrained-vectors.md

中所述

我已尝试过该问题所建议的所有内容,而且https://github.com/salestock/fastText.py/issues/115没有.bin用于英语,否则问题就会解决。有没有人知道这方面的解决方法?

5 个答案:

答案 0 :(得分:1)

请尝试以下步骤解决此问题。在加载语言识别模型时,它与我一起使用了Python 3.5。

git clone https://github.com/facebookresearch/fastText.git
cd fastText
pip install .

答案 1 :(得分:1)

此错误通常是由于版本不匹配而引起的。确保在训练和模型加载期间使用的是相同版本的fasttext。

答案 2 :(得分:0)

您不能使用pip安装的软件包fasttext。您可以使用fastText回购中的安装fasttext(大写T)。

答案 3 :(得分:0)

您要查找的软件包尚未在PyPI上。您必须通过克隆原始存储库并运行安装脚本来自己安装它。

但是,PyPi Test中有一个最新版本,您可以对其进行测试和使用。

您也可以使用此mirror,其中包含您要查找的官方软件包的副本。

答案 4 :(得分:0)

您可以改用pyfasttext:

!pip3 install pyfasttext
from pyfasttext import FastText
model = FastText("./model_position")

可行,但存在一些兼容性问题,例如您可以使用model.args [“ dim”]替换get_dimension()