使用gensim加载FastText的法语预训练模型时出错

Question

我正在尝试使用FastText的法语预训练二进制模型（从官方FastText's github page下载）。我需要.bin模型而不是.vec单词向量，才能近似拼写错误和词汇不足的单词。

但是，当我尝试使用以下方法加载所述模型时：

from gensim.models import FastText
model = FastText.load_fasttext_format('french_bin_model_path')

我收到以下错误：

NotImplementedError: Supervised fastText models are not supported

令人惊讶的是，当我尝试加载 english 二进制模型时，它工作得很好。

我正在运行python 3.6和gensim 3.5.0。

欢迎提出任何关于为什么它不适用于法国矢量的想法！

Answer 1

我遇到了同样的问题，最终使用Facebook python wrapper 来实现FastText，而不是gensim的实现。

import fastText 
model = fastText.load(path_to_french_bin)

然后，您将获得词汇量以外的单词的单词向量，如下所示：

oov_vector = model.get_word_vector(oov_word)

关于gensim的load_fasttext_format为什么适用于英语模型而不适用于我不知道的法语模型！

Answer 2

我从没使用过FastText，但是问题可能出在文件的编码上。如果您使用的是macOS，请尝试将其更改为Utf-8，如果使用Windows，请尝试将其更改为Latin-1。