Question

我有一个如Image所示的数据框，我想做的是沿“试验”列取均值。对于每个主题，条件和样本（当这三列的值均为1时），取列试验（100行）的平均值。

我在大熊猫身上所做的事情如下

sub_erp_pd= pd.DataFrame()
for j in range(1,4):
    sub_c=subp[subp['condition']==j]
    for i in range(1,3073):
        sub_erp_pd=sub_erp_pd.append(sub_c[sub_c['sample']==i].mean(),ignore_index=True)

但这需要很多时间。所以我正在考虑使用dask代替dask。但是，在黄昏时，我在创建一个空数据框时遇到了问题。就像我们在熊猫中创建一个空数据框并将数据附加到其中一样。

image of data frame

根据@edesz的建议，我对自己的方法进行了更改
编辑

%%time
sub_erp=pd.DataFrame()
for subno in progressbar.progressbar(range(1,82)):
    try:
        sub=pd.read_csv('../input/data/{}.csv'.format(subno,subno),header=None)
    except:
        sub=pd.read_csv('../input/data/{}.csv'.format(subno,subno),header=None)    
    sub_erp=sub_erp.append(sub.groupby(['condition','sample'], as_index=False).mean())

使用熊猫读取文件需要13.6秒，而使用dask读取文件需要61.3毫秒。但是，在黄昏时，我在添加时遇到了麻烦。

Answer 1

如果我理解正确，则需要

使用groupby（了解更多here）以对subject，condition和sample列进行分组
- 这会将所有在这三列中具有相同值的所有行收集到一个组中
使用.mean()取平均值
- 这将为您提供每组的平均值

Generate一些虚拟数据

df = df = pd.DataFrame(np.random.randint(0,100,size=(100, 3)),
                        columns=['trial','condition','sample'])
df.insert(0,'subject',[1]*10 + [2]*30 + [5]*60)

print(df.head())
   subject  trial  condition  sample
0        1     71         96      34
1        1      2         89      66
2        1     90         90      81
3        1     93         43      18
4        1     29         82      32

熊猫方法

汇总并获取mean

df_grouped = df.groupby(['subject','condition','sample'], as_index=False)['trial'].mean()

print(df_grouped.head(15))
    subject  condition  sample  trial
0         1         18      24     89
1         1         43      18     93
2         1         67      47     81
3         1         82      32     29
4         1         85      28     97
5         1         88      13     48
6         1         89      59     23
7         1         89      66      2
8         1         90      81     90
9         1         96      34     71
10        2          0      81     19
11        2          2      39     58
12        2          2      59     94
13        2          5      42     13
14        2          9      42      4

敏捷方法

第1步。导入

import dask.dataframe as dd
from dask.diagnostics import ProgressBar

步骤2。使用.from_pandas将熊猫DataFrame转换为达斯DataFrame

ddf = dd.from_pandas(df, npartitions=2)

第3步。汇总并获取mean

ddf_grouped = (
    ddf.groupby(['subject','condition','sample'])['trial']
        .mean()
        .reset_index(drop=False)
            )

with ProgressBar():
    df_grouped = ddf_grouped.compute()
[                                        ] | 0% Completed |  0.0s
[########################################] | 100% Completed |  0.1s

print(df_grouped.head(15))
    subject  condition  sample  trial
0         1         18      24     89
1         1         43      18     93
2         1         67      47     81
3         1         82      32     29
4         1         85      28     97
5         1         88      13     48
6         1         89      59     23
7         1         89      66      2
8         1         90      81     90
9         1         96      34     71
10        2          0      81     19
11        2          2      39     58
12        2          2      59     94
13        2          5      42     13
14        2          9      42      4

创建一个空的dask数据框并向其附加值

1 个答案: