Question

我有一个格式为

的数据框

id  time  a  b
01    01  1  0
01    01  0  1
01    01  0  0
01    02  0  0
01    02  1  0
01    03  1  0
01    03  0  1

所以现在，输出应该是

id  time  a  b
01    01  1  1
01    02  1  0
01    03  1  1

在这里，我基本上将所有行合并为相同的id和time，这样其他行中的值就是id和time的所有值的最大值

我正在做

df = df.groupby(['id','time']).max()

然而，由于行数和列数很大，这需要花费很多时间（> 10分钟）。我想知道是否有更有效的方法来做同样的事情！

Answer 1

如果您的硬件允许您同时处理多个核心，并且按组计算multiprocessing并行化，您可能希望利用max：

使用包含25列且['id', 'time']为MultiIndex ::

的随机样本

cols = {'id': np.random.randint(1, 11, 10000), 'time': np.random.randint(1, 11, 10000)}
cols.update({k: np.random.random(size=10000) for k in range(25)})
df = pd.DataFrame(cols).set_index(['id', 'time'])

<class 'pandas.core.frame.DataFrame'>
MultiIndex: 10000 entries, (4, 9) to (3, 4)
Data columns (total 25 columns):
0     10000 non-null float64
1     10000 non-null float64
2     10000 non-null float64
3     10000 non-null float64
4     10000 non-null float64
....
20    10000 non-null float64
21    10000 non-null float64
22    10000 non-null float64
23    10000 non-null float64
24    10000 non-null float64
dtypes: float64(25)
memory usage: 2.0+ MB

接下来，按['id', 'time']级别分组并捕获组ID：

grps = df.groupby(level=['id', 'time'])
index = [grp[0] for grp in grps]

导致100组：

'# Groups: ', len([grp[0] for grp in grps])

# Groups:  100

最后，设置一个Pool，其中包含8名工作人员（#core），并通过functools.partial通过池运行100个组以传递axis=0参数：

from multiprocessing import Pool
from functools import partial

with Pool(processes=8) as pool:
    imap_res = pool.imap(partial(np.amax, axis=0), [grp[1] for grp in grps])

通过DataFrame将结果连接回list comprehension：

    result = pd.concat([pd.Series(res) for res in imap_res], axis=1).T.sort_index(axis=1)
    result.index = index

<class 'pandas.core.frame.DataFrame'>
Index: 100 entries, (1, 1) to (10, 10)
Data columns (total 25 columns):
0     100 non-null float64
1     100 non-null float64
2     100 non-null float64
3     100 non-null float64
4     100 non-null float64
....
20    100 non-null float64
21    100 non-null float64
22    100 non-null float64
23    100 non-null float64
24    100 non-null float64
dtypes: float64(25)
memory usage: 20.3+ KB

在pandas中合并具有相同id和时间的行

1 个答案: