如何使用以下代码构建cramer-v矩阵?

时间:2019-04-10 09:47:01

标签: python python-3.x pandas correlation categorical-data

我正在尝试使用Cramers创建一个热图/相关矩阵。我发现下面的代码可以帮助我解决这个问题,但是当使用itertools.combinations时,它不会返回本身的组合,例如0,0 1,1等,所以我的矩阵是完全错误的,因为当将一列与其自身进行比较时,对角线应为1,但对角线应为0。我的20列中除2列之外的所有列都是分类的,这就是为什么我要使用Cramers的原因

def cramers_corrected_stat(confusion_matrix):
    """ calculate Cramers V statistic for categorical-categorical association.
        uses correction from Bergsma and Wicher, 
        Journal of the Korean Statistical Society 42 (2013): 323-328
    """
    chi2 = ss.chi2_contingency(confusion_matrix)[0]
    n = confusion_matrix.sum().sum()
    phi2 = chi2/n
    r,k = confusion_matrix.shape
    phi2corr = max(0, phi2 - ((k-1)*(r-1))/(n-1))    
    rcorr = r - ((r-1)**2)/(n-1)
    kcorr = k - ((k-1)**2)/(n-1)
    return np.sqrt(phi2corr / min( (kcorr-1), (rcorr-1))) 


cols = df.columns.to_list()
corrM = np.zeros((len(cols),len(cols)))
# there's probably a nice pandas way to do this
for col1, col2 in itertools.combinations(cols, 2):
    idx1, idx2 = cols.index(col1), cols.index(col2)
    corrM[idx1, idx2] = cramers_corrected_stat(pd.crosstab(df[col1], df[col2]))
    corrM[idx2, idx1] = corrM[idx1, idx2]

我该如何解决?

1 个答案:

答案 0 :(得分:0)

我写了一些能做到这一点的东西:github.com/shakedzy/dython

associations下寻找nominal