使用COSADD,COSMUL和欧几里德距离对word2vec模型进行准确性测试

时间:2018-08-01 17:49:56

标签: python machine-learning nlp word2vec

我已经在word2vec中训练了一个模型,并希望使用Google的类比测试集来测试其准确性。我想使用COSADD,COSMUL并希望使用欧几里得距离。

要使用COSADD,我只需使用以下代码: model.wv.accuracy(‘questions-words.txt’)。

我不确定如何使用其他人。精度方法具有以下可选参数 准确性(.txt文件,restrict_vocab = ...,most_like = ...)

我觉得我应该能够写most_similar = COSMUL

但这不起作用:(

有人知道如何使用COSMUL或欧氏距离(或两者)进行精度测试吗?

1 个答案:

答案 0 :(得分:0)

most_similar的{​​{1}}参数采用python函数,因此您需要提供一个函数签名,该函数具有与KeyedVectors.most_similar()相同的方法签名,以执行替代计算。

WordEmbeddingsKeyedVectors.most_similar_cosmul()之类的东西可能适用于cosmul计算。

但是,您应该查看源代码以查看期望的内容,以及代码中的某些默认选择(例如是否将单位归一化的字向量)影响您的结果。