计算一定数量的列中

时间:2018-03-19 04:09:49

标签: python pandas numpy correlation

我意识到过去在SO上已经发布了类似于我的问题的问题。但是,他们没有给我我想要的东西。

我有一个包含314列的大型数据框data。我想计算所有仅我的数据帧的前30列之间的相关值。之后,我想报告前5个相关对,无论符号如何,所以就相关系数的大小。我知道我应该使用.corr(),因为有些数据框单元格是空的,我们不想包含它们。

这是我到目前为止所拥有的。我还在努力。不知道cc的类型,这就是为什么我没有报告前5个值:

W = 30 # taking the first 30 columns
cc = np.zeros((1,W)) # pre-allocation for coefficients

for c in range(1:W) in data:
    tmp = data.corr(data(:,c0),data(:,c));
    cc(c) = tmp(1,2);

以下是数据框的前15行和5列:

    Group  Age  Gender  Weight     Height
0       1   50       1     224  73.533514
1       1   59       0     180  62.625479
2       1   22       0     167  62.253894
3       1   48       0     113  61.476092
4       1   53       1     166  70.076665
5       1   48       1     210  71.384046
6       1   29       0     140  61.438960
7       1   44       1     181  74.992675
8       1   28       0      98  60.145635
9       1   42       1     187  71.588029
10      1   35       0     199  66.773644
11      0   54       1     228  76.971180
12      0   43       0     145  67.586941
13      1   50       0     190  67.229118
14      1   62       0     281  63.645601

1 个答案:

答案 0 :(得分:1)

好的,这应该有效。第一部分给出了前30列的绝对相关矩阵,基本上消除了自相关。下一部分通过找到绝对最大值,将其标记为低,将其从相关矩阵中移除然后移动到下一个,来查找五个总体最大相关性。 max_list中的每个元素都与abs的(0.8764779791676971, 'Gender', 'Height')类似。相关性和给出相关性的两列。

import pandas as pd
import numpy as np
corr = data.iloc[:,0:30].corr().replace(1, np.NaN).abs()

max_list = []
for i in range(0,5):
    max_val = max(corr.max())
    max_list.append((max_val, corr.columns[np.where(corr == max_val)[0][:]][0],
                    corr.columns[np.where(corr == max_val)[0][:]][1]))
    corr.replace(max_val, np.NaN, inplace=True)