统计相关性:Pearson还是Spearman?

时间:2011-07-18 10:27:30

标签: statistics analysis correlation pearson

我在区间[0,1]中有两个45个值的系列。第一个系列是人工生成的标准,第二个系列是计算机生成的(全系列http://www.copypastecode.com/74844/)。 第一个系列逐渐排序。

0.909090909 0.216196598
0.909090909 0.111282099
0.9 0.021432587
0.9 0.033901106
...
0.1 0.003099256
0   0.001084533
0   0.008882249
0   0.006501463

现在我要评估的是第二个系列中保留订单的程度,因为第一个系列是单调的。 Pearson相关是0.454763067,但我认为这种关系不是线性的,所以这个值很难解释。

一种自然的方法是使用 Spearman等级相关,在本例中为0.670556181。 我注意到随机值,当Pearson非常接近0时,Spearman等级相关性上升到0.5,所以0.67的值似乎非常低。

您将使用什么来评估这两个系列之间的顺序相似性?

1 个答案:

答案 0 :(得分:6)

  

我想评估订单保留的程度

由于这是您关注的顺序(排名),因此Spearman排名相关性是更有意义的指标。

  

我注意到随机值[...] Spearman等级相关性上升到0.5

如何生成这些随机值?我刚刚使用numpy生成了一些随机数字的简单实验,我没有看到:

In [1]: import numpy as np

In [2]: import scipy.stats

In [3]: x = np.random.randn(1000)

In [4]: y = np.random.randn(1000)

In [5]: print scipy.stats.spearmanr(x, y)
(-0.013847401847401847, 0.66184551507218536)

第一个数字(-0.01)是秩相关系数;第二个数字(0.66)是the associated p-value