如何计算熊猫数据帧中某些条件的比率

Question

我有一个像下面的pandas数据框..

   date                         item_id
2016-01-19                      [188, 188]
2016-01-23                      [188, 142]
2016-02-05                      [188, 264]
2016-02-06  [273, 248, 191, 167, 238, 191]
2016-02-15                           [320]
2016-02-17                           [286]
2016-02-20                      [164, 317]

在上面我想计算一个No of times the item_id got repeated on different dates / no of unique item_id的比率，因此在上面的情景中item_id 188在3个不同的日子重复3次，所以这个比例是 3/no of unique item_id 3/13

创建数据框的代码

buyer_id item_id        date
261_23     188  2016-01-19
261_23     188  2016-01-19
261_23     188  2016-01-23
261_23     142  2016-01-23
261_23     188  2016-02-05
261_23     264  2016-02-05
261_23     273  2016-02-06
261_23     248  2016-02-06
261_23     191  2016-02-06
261_23     167  2016-02-06
261_23     238  2016-02-06
261_23     191  2016-02-06
261_23     320  2016-02-15
261_23     286  2016-02-17
261_23     164  2016-02-20
261_23     317  2016-02-20

df.groupby(['date','buyer_id'])['item_id'].apply(lambda x: x.tolist())

Answer 1

所有唯一项目的联合集是

unique_items = set().union(*df.item_id.apply(set))

每件商品的出现次数为

num_appearances = [df.item_id.apply(lambda s: k in s).sum() for k in unique_items]

因此，以下内容将创建一个字典，将每个项目映射到您询问的比率：

dict((k, n / float(len(unique_items))) \
    for (k, n) in zip(unique_items, num_appearances))

示例

import pandas as pd

df = pd.DataFrame({
    'date': range(5), 
    'item_id': [[188, 188], [188, 142], [188, 264], [273, 248, 191, 167, 238, 191], [320]]})

unique_items = set().union(*df.item_id.apply(set))
>>> unique_items
{142, 167, 188, 191, 238, 248, 264, 273, 320}

num_appearances = [df.item_id.apply(lambda s: k in s).sum() for k in unique_items]
>>> num_appearances
[1, 1, 1, 1, 1, 1, 1, 3, 1]

>>> dict((k, n / float(len(unique_items))) \
    for (k, n) in zip(unique_items, num_appearances))
{142: 0.1111111111111111,
 167: 0.1111111111111111,
 188: 0.33333333333333331,
 191: 0.1111111111111111,
 238: 0.1111111111111111,
 248: 0.1111111111111111,
 264: 0.1111111111111111,
 273: 0.1111111111111111,
 320: 0.1111111111111111}