我正在使用scipy.stats.chi2_contingency方法来获取卡方统计数据。我们需要将频率表即列联表作为参数。但我有一个特征向量,并希望自动生成频率表。我们有这样的功能吗? 我现在这样做:
def contigency_matrix_categorical(data_series,target_series,target_val,indicator_val):
observed_freq={}
for targets in target_val:
observed_freq[targets]={}
for indicators in indicator_val:
observed_freq[targets][indicators['val']]=data_series[((target_series==targets)&(data_series==indicators['val']))].count()
f_obs=[]
var1=0
var2=0
for i in observed_freq:
var1=var1+1
var2=0
for j in observed_freq[i]:
f_obs.append(observed_freq[i][j]+5)
var2=var2+1
arr=np.array(f_obs).reshape(var1,var2)
c,p,dof,expected=chi2_contingency(arr)
return {'score':c,'pval':p,'dof':dof}
其中数据系列和目标系列是列值,另外两个是指标的名称。 有人可以帮忙吗? 感谢
答案 0 :(得分:6)
您可以使用pandas.crosstab
从DataFrame生成列联表。来自文档:
计算两个(或更多)因子的简单交叉列表。默认情况下,计算因子的频率表,除非传递值数组和聚合函数。
以下是一个用法示例:
import numpy as np
import pandas as pd
from scipy.stats import chi2_contingency
# Some fake data.
n = 5 # Number of samples.
d = 3 # Dimensionality.
c = 2 # Number of categories.
data = np.random.randint(c, size=(n, d))
data = pd.DataFrame(data, columns=['CAT1', 'CAT2', 'CAT3'])
# Contingency table.
contingency = pd.crosstab(data['CAT1'], data['CAT2'])
# Chi-square test of independence.
c, p, dof, expected = chi2_contingency(contingency)
以下data
表
生成以下contingency
表
然后,scipy.stats.chi2_contingency(contingency)
返回(0.052, 0.819, 1, array([[1.6, 0.4],[2.4, 0.6]]))
。