我有3个数据帧,包含7列。
df_a
df_b
df_c
df_a.head()
VSPD1_perc VSPD2_perc VSPD3_perc VSPD4_perc VSPD5_perc VSPD6_perc \
0 NaN NaN NaN NaN NaN NaN
3 0.189588 0.228052 0.268460 0.304063 0.009837 0
5 0.134684 0.242556 0.449054 0.168816 0.004890 0
9 0.174806 0.232150 0.381936 0.211108 0.000000 0
11 NaN NaN NaN NaN NaN NaN
VSPD7_perc
0 NaN
3 0
5 0
9 0
11 NaN
我的目标是生成一个矩阵或数据帧,其中包含来自t检验的结果p值,并测试数据帧df_b和df_c对df_a,列为列。这是df_b中的测试列1和df_a中针对列1的df_c。 我想使用dataframe(df_a)作为标准来进行统计t检验。 我在statsmodels(stat.ttest_ind(x1,x2))中找到了统计测试,但是我需要帮助从测试中的p值中创建一个矩阵。 有谁知道怎么做......
答案 0 :(得分:7)
除了适当的NaN管理外,您可以像t, p = scipy.stats.ttest_ind(df_a.dropna(axis=0), df_b.dropna(axis=0))
一样简单地完成。
参见演示:
>>> import pandas as pd
>>> import scipy.stats
>>> import numpy as np
>>> df_a = pd.read_clibpoard()
>>> df_b = df_a + np.random.randn(5, 7)
>>> df_c = df_a + np.random.randn(5, 7)
>>> _, p_b = scipy.stats.ttest_ind(df_a.dropna(axis=0), df_b.dropna(axis=0))
>>> _, p_c = scipy.stats.ttest_ind(df_a.dropna(axis=0), df_c.dropna(axis=0))
>>> pd.DataFrame([p_b, p_c], columns = df_a.columns, index = ['df_b', 'df_c'])
VSPD1_perc VSPD2_perc VSPD3_perc VSPD4_perc VSPD5_perc VSPD6_perc \
df_b 0.425286 0.987956 0.644236 0.552244 0.432640 0.624528
df_c 0.947182 0.911384 0.189283 0.828780 0.697709 0.166956
VSPD7_perc
df_b 0.546648
df_c 0.206950