用SimLex-999和wordim353评估word2vec

Question

我已经用SimLex-999和wordim353评估了我的模型，但是我不知道结果是否还可以吗？

wordsim353结果

 Pearson correlation coefficient against C:\ProgramData\Anaconda3\lib\site-packages\gensim\test\test_data\wordsim353.tsv: 0.4895
2019-08-27 08:30:06,655 : INFO : Spearman rank-order correlation coefficient against C:\ProgramData\Anaconda3\lib\site-packages\gensim\test\test_data\wordsim353.tsv: 0.4799
2019-08-27 08:30:06,656 : INFO : Pairs with unknown words ratio: 7.1%

((0.4894983099817645, 3.6324947252392034e-21), SpearmanrResult(correlation=0.4798812637344527, pvalue=2.6991867797169835e-20), 7.0821529745042495)

SimLex-999结果

 2019-08-27 15:43:13,000 : INFO : Pearson correlation coefficient against C:\ProgramData\Anaconda3\lib\site-packages\gensim\test\test_data\simlex999.txt: 0.3138
    2019-08-27 15:43:13,001 : INFO : Spearman rank-order correlation coefficient against C:\ProgramData\Anaconda3\lib\site-packages\gensim\test\test_data\simlex999.txt: 0.2992
    2019-08-27 15:43:13,002 : INFO : Pairs with unknown words ratio: 1.2%
    ((0.31381174440491943, 5.375150591505246e-24), SpearmanrResult(correlation=0.29915866880742126, pvalue=7.433265418805336e-22), 1.2012012012012012)

Answer 1

只有您可以决定结果是否适合您的目的。当将一种模型与另一种模型进行比较时，这些分数最有意义，这是其他改变（新参数，新预处理，更多/不同数据）是否在起作用或受到伤害的粗略指导。

您可以看一下介绍您正在使用的评估数据集的论文，以了解如何解释分数：

https://arxiv.org/abs/1408.3456v1

您还可以下载一些现成的单词向量集，检查它们的评估得分，以与您的评估得分进行比较。