通过基于Pandas中的两个标头进行平均,将CSV数据汇总到数据帧中

时间:2015-12-01 05:08:02

标签: python pandas

我有以下CSV data

id,gene,celltype,stem,stem,stem,bcell,bcell,tcell
id,gene,organs,bm,bm,fl,pt,pt,bm
134,foo,about_foo,20,10,11,23,22,79
222,bar,about_bar,17,13,55,12,13,88

请注意,它包含两个标头。我想做的是分组 第2行开始,按器官和细胞类型平均。 因此它创建了这样的分层数据框:

bm       stem,         bcell,  tcell
    foo  (20+10)/2     0        79/1=79
    bar  (17+13)/2     0        88/1=88



fl        stem,        bcell,    tcell
    foo    11/1=11       0         0
    bar    55/1=55


pt         stem,       bcell,        tcell
    foo      0       (23+22)/2        0
    bar      0       (12+13)/2        0

我怎样才能做到这一点?

我坚持使用以下代码:

import pandas as pd
df = pd.read_csv("http://dpaste.com/1X74TNP.txt")

更新

import pandas as pd
df = pd.read_csv("http://dpaste.com/1X74TNP.txt",header=None,index_col=[1,2]).iloc[:, 1:]
df.columns = pd.MultiIndex.from_arrays(df.ix[:2].values)
df = df.ix[2:]
df.index.names = ['cell', 'organ']
df = df.reset_index('organ', drop=True)
result = df.groupby(level=[0, 1], axis=1).mean().stack().replace(np.nan, 0).unstack().swaplevel(0,1, axis=1).sort_index(axis=1)

给出:

DataError: No numeric types to aggregate

1 个答案:

答案 0 :(得分:2)

df = pd.read_csv(join(DESKTOP, 'bio.csv'), header=None, index_col=[1,2]).iloc[:, 1:]

df.columns = pd.MultiIndex.from_arrays(df.ix[:2].values)
df = df.ix[2:].astype(int)
df.index.names = ['cell', 'organ']
df = df.reset_index('organ', drop=True)

avg = df.groupby(level=[0, 1], axis=1).mean()
result = avg.stack().replace(np.nan, 0).unstack()
result = result.swaplevel(0,1, axis=1).sort_index(axis=1)

        bm               fl               pt           
     bcell stem tcell bcell stem tcell bcell stem tcell
cell                                                   
foo      0   15    79     0   11     0  22.5    0     0
bar      0   15    88     0   55     0  12.5    0     0

要访问其中一个属性,请使用:

print(result.loc[:, 'bm'])

      bcell  stem  tcell
cell                    
foo       0    15     79
bar       0    15     88