如何知道一个系统明显优于另一个系统？

Question

我正在研究词汇语义。我有65对同义词与他们的感觉相关性。数据集来自论文：

Rubenstein，Herbert和John B. Goodenough。 ＆＃34;同义词的语境关联。＆＃34; ACM 8.10（1965）的通讯：627-633。

我提取包含这些同义词的句子，将出现在这些句子中的相邻词语传递给向量，计算不同向量之间的余弦距离，最后得到我们计算的距离与鲁宾斯坦和Goodenough给出的感知相关性之间的Pearson相关性< / p>

我得到方法1的Pearson相关性为0.79，而方法2的Pearson相关性为0.78。如何衡量方法1是否明显优于方法2？

Answer 1

严格来说，这不是一个编程问题，但由于这个问题在其他stackexchange网站上没有得到解答，我将告诉我将采取的方法。

我想说还有其他基准来检查你在类似任务上的方法。您可以检查方法在这些基准测试中的执行情况并分析结果。一些方法可以更多地捕获相似性而其他方法相关性和一些方法。

这是链接 WordVec Demo，可自动为您的矢量评分，并为您提供结果。