我意识到过去在SO上已经发布了类似于我的问题的问题。但是,他们没有给我我想要的东西。
我有一个包含314列的大型数据框data
。我想计算所有仅我的数据帧的前30列之间的相关值。之后,我想报告前5个相关对,无论符号如何,所以就相关系数的大小。我知道我应该使用.corr()
,因为有些数据框单元格是空的,我们不想包含它们。
这是我到目前为止所拥有的。我还在努力。不知道cc
的类型,这就是为什么我没有报告前5个值:
W = 30 # taking the first 30 columns
cc = np.zeros((1,W)) # pre-allocation for coefficients
for c in range(1:W) in data:
tmp = data.corr(data(:,c0),data(:,c));
cc(c) = tmp(1,2);
以下是数据框的前15行和5列:
Group Age Gender Weight Height
0 1 50 1 224 73.533514
1 1 59 0 180 62.625479
2 1 22 0 167 62.253894
3 1 48 0 113 61.476092
4 1 53 1 166 70.076665
5 1 48 1 210 71.384046
6 1 29 0 140 61.438960
7 1 44 1 181 74.992675
8 1 28 0 98 60.145635
9 1 42 1 187 71.588029
10 1 35 0 199 66.773644
11 0 54 1 228 76.971180
12 0 43 0 145 67.586941
13 1 50 0 190 67.229118
14 1 62 0 281 63.645601
答案 0 :(得分:1)
好的,这应该有效。第一部分给出了前30列的绝对相关矩阵,基本上消除了自相关。下一部分通过找到绝对最大值,将其标记为低,将其从相关矩阵中移除然后移动到下一个,来查找五个总体最大相关性。 max_list
中的每个元素都与abs的(0.8764779791676971, 'Gender', 'Height')
类似。相关性和给出相关性的两列。
import pandas as pd
import numpy as np
corr = data.iloc[:,0:30].corr().replace(1, np.NaN).abs()
max_list = []
for i in range(0,5):
max_val = max(corr.max())
max_list.append((max_val, corr.columns[np.where(corr == max_val)[0][:]][0],
corr.columns[np.where(corr == max_val)[0][:]][1]))
corr.replace(max_val, np.NaN, inplace=True)