Question

我使用下面的代码关联两个数据帧。基本上，从一个数据帧（a）中选择一组列，从另一个数据帧（b）中选择一列。它工作得很好，除了我需要用spearman的选项。我会很感激任何意见或想法。谢谢......

 a.ix[:,800000:800010].corrwith(b.ix[:,0])

Answer 1

考虑在数据框apply中使用pandas.Series.corr，其中您将每列传递到函数中，此处为匿名lambda，并将每个列与b列配对：

随机数据（播种再现）

import pandas as pd
import numpy as np

np.random.seed(50)

a = pd.DataFrame({'A':np.random.randn(50),
                  'B':np.random.randn(50),
                  'C':np.random.randn(50),
                  'D':np.random.randn(50),
                  'E':np.random.randn(50)})

b = pd.DataFrame({'test':np.random.randn(10)})

再现Pearson相关性

pear_result1 = a.ix[:,0:5].corrwith(b.ix[:,0])
print(pear_result1)
# A   -0.073506
# B   -0.098045
# C    0.166293
# D    0.123491
# E    0.348576
# dtype: float64

pear_result2 = a.apply(lambda col: col.corr(b.ix[:,0], method='pearson'), axis=0)
print(pear_result2)
# A   -0.073506
# B   -0.098045
# C    0.166293
# D    0.123491
# E    0.348576
# dtype: float64

print(pear_result1 == pear_result2)
# A    True
# B    True
# C    True
# D    True
# E    True
# dtype: bool

斯皮尔曼相关

spr_result = a.apply(lambda col: col.corr(b.ix[:,0], method='spearman'), axis=0)
print(spr_result)
# A   -0.018182
# B   -0.103030
# C    0.321212
# D   -0.151515
# E    0.321212
# dtype: float64

具有p值的Spearman系数

from scipy.stats import spearmanr, pearsonr

# SERIES OF TUPLES (<scipy.stats.stats.SpearmanrResult> class)
spr_all_result = a.apply(lambda col: spearmanr(col, b.ix[:,0]), axis=0)

# SERIES OF FLOATS
spr_corr = a.apply(lambda col: spearmanr(col, b.ix[:,0])[0], axis=0)
spr_pvalues = a.apply(lambda col: spearmanr(col, b.ix[:,0])[1], axis=0)

Spearman与corrwith python的相关性

1 个答案: