每个对组之间的pandas相关矩阵

时间:2015-04-14 15:21:32

标签: python pandas correlation

我有一个像这样的csv文件:

date,sym,close
2014.01.01,A,10
2014.01.02,A,11
2014.01.03,A,12
2014.01.04,A,13
2014.01.01,B,20
2014.01.02,B,22
2014.01.03,B,23
2014.01.01,C,33
2014.01.02,C,32
2014.01.03,C,31

然后,我通过df函数

获得一个名为read_csv的日期框架
import numpy as np
import pandas as pd
df=pd.read_csv('daily.csv',index_col=[0])
groups=df.groupby('sym')[['close']].apply(lambda x:func(x['close'].values))

groups看起来像这样:

sym
A    [nan,1.00,2.00,...]
B    [nan,1.00,2.00,...]
C    [nan,1.00,2.00,...]

如何计算每对符号之间的相关性?

AA,AB,AC,BB,BA,BC,CA,CB,CC
顺便说一句,每个sym的项目编号可能相同。

2 个答案:

答案 0 :(得分:7)

使用上述df,制作数据透视表:

dfp = df.pivot('date','sym')
print(dfp)
           close        
sym            A   B   C
date                    
2014-01-01    10  20  33
2014-01-02    11  22  32
2014-01-03    12  23  31
2014-01-04    13 NaN  30

pandas将计算成对系数:

print(dfp.corr())
              close                    
sym               A         B         C
      sym                              
close A    1.000000  0.981981 -1.000000
      B    0.981981  1.000000 -0.981981
      C   -1.000000 -0.981981  1.000000

但是如果你想要美化它,请查看seaborn

import seaborn as sns
sns.corrplot(dfp, annot=True)

结果:

enter image description here

答案 1 :(得分:-1)

获得groups后:

sym
A    [nan,1.00,2.00,...]
B    [nan,1.00,2.00,...]
C    [nan,1.00,2.00,...]

我创建了一个DataFrame df2

df2=DataFrame()
df2['A']=groups['A']
df2['B']=groups['B']
df2['C']=groups['C']

df2.corr()

此方法可以通过组的数据获得相关性。但是,并不完美。 如何将组转换为这样的DataFrame?组的循环键?我需要继续尝试。