Question

我想逐周累计计算熊猫框架中一列的唯一值。例如，假设我有这样的数据：

df = pd.DataFrame({'user_id':[1,1,1,2,2,2],'week':[1,1,2,1,2,2],'module_id':['A','B','A','A','B','C']})

+---+---------+------+-----------+
|   | user_id | week | module_id |
+---+---------+------+-----------+
| 0 |       1 |    1 |         A |
| 1 |       1 |    1 |         B |
| 2 |       1 |    2 |         A |
| 3 |       2 |    1 |         A |
| 4 |       2 |    2 |         B |
| 5 |       2 |    2 |         C |
+---+---------+------+-----------+

我想要的是一个连续的计数，直到每周一次，即唯一的module_id的数量，例如：

+---+---------+------+-------------------------+
|   | user_id | week | cumulative_module_count |
+---+---------+------+-------------------------+
| 0 |       1 |    1 |                       2 |
| 1 |       1 |    2 |                       2 |
| 2 |       2 |    1 |                       1 |
| 3 |       2 |    2 |                       3 |
+---+---------+------+-------------------------+

将其作为循环直接进行是很简单的，例如，可以这样做：

running_tally = {}
result = {}
for index, row in df.iterrows():
    if row['user_id'] not in running_tally:
        running_tally[row['user_id']] = set()
        result[row['user_id']] = {}
    running_tally[row['user_id']].add(row['module_id'])
    result[row['user_id']][row['week']] = len(running_tally[row['user_id']])
print(result)

{1: {1: 2, 2: 2}, 2: {1: 1, 2: 3}}

但是我的真实数据帧很大，所以我想使用矢量化算法而不是循环。

还有一个类似的问题here，但是像我一样，看着已接受的答案（here），原始张贴者不希望跨日期累积唯一性。

我该如何在大熊猫中对此向量化？

Answer 1

想法是通过两列为每个组创建list，然后将np.cumsum用于累积列表，最后将值转换为集合并获取长度：

df1 = (df.groupby(['user_id','week'])['module_id']
         .apply(list)
         .groupby(level=0)
         .apply(np.cumsum)
         .apply(lambda x: len(set(x)))
         .reset_index(name='cumulative_module_count'))

print (df1)
   user_id  week  cumulative_module_count
0        1     1                        2
1        1     2                        2
2        2     1                        1
3        2     2                        3

Answer 2

Jezrael's answer可以通过使用pipe而不是apply(list)来稍微改善，后者应该更快，然后使用np.unique代替np.cumsum的技巧：


df1 = (df.groupby(['user_id', 'week']).pipe(lambda x: x.apply(np.unique))        
                                      .groupby('user_id')
                                      .apply(np.cumsum)
                                      .apply(np.sum)
                                      .apply(lambda x: len(set(x)))
                                      .rename('cumulated_module_count')
                                      .reset_index(drop=False))

print(df1)
   user_id  week  cumulated_module_count
0        1     1                       2
1        1     2                       2
2        2     1                       1
3        2     2                       3

熊猫中唯一值的累积计数

2 个答案: