在数据框中为每个组查找不同的百分位数

时间:2019-02-12 11:25:05

标签: python pandas statistics quantile percentile

我的日期框架具有以下结构:

df = pd.DataFrame({'GROUP_ID': np.random.randint(1, 7, size=100),
                     'VALUES': np.random.randint(0, 50, size=100)})
df['THRESHOLD'] = df['GROUP_ID']*5
df = df[['GROUP_ID','VALUES','THRESHOLD']]
df.sort_values(by='GROUP_ID', inplace=True)

(这只是一个例子)

“阈值”列实际上是每个组的百分数(%)。 而且我需要添加一列“ PERCENTILE”,其中每个组中的值都应该有一个百分位数值。

我试图使用groupbyapply,但是我不知道如何在q函数中将THRESHOLD列的值传递给参数quantile\percentile

1 个答案:

答案 0 :(得分:1)

使用x.nameGROUP_ID创建字典和映射阈值,并将transform的新列传递给函数quantile,仅在0和1之间的必要阈值。

np.random.seed(152)
df = pd.DataFrame({'GROUP_ID': np.random.randint(1, 7, size=100),
                     'VALUES': np.random.randint(0, 50, size=100)})
df['THRESHOLD'] = df['GROUP_ID'] / 15
df = df[['GROUP_ID','VALUES','THRESHOLD']]
df.sort_values(by='GROUP_ID', inplace=True)

d = dict(zip(df['GROUP_ID'], df['THRESHOLD']))
df['new'] = df.groupby('GROUP_ID')['VALUES'].transform(lambda x: x.quantile(d[x.name]))
print (df.head(20))
    GROUP_ID  VALUES  THRESHOLD       new
23         1      17   0.066667  7.733333
53         1       9   0.066667  7.733333
39         1      43   0.066667  7.733333
57         1      15   0.066667  7.733333
36         1      47   0.066667  7.733333
59         1      17   0.066667  7.733333
28         1       4   0.066667  7.733333
63         1      33   0.066667  7.733333
18         1      12   0.066667  7.733333
12         1      27   0.066667  7.733333
47         1      43   0.066667  7.733333
81         1      45   0.066667  7.733333
91         1      45   0.066667  7.733333
5          1       8   0.066667  7.733333
83         1      26   0.066667  7.733333
61         2      39   0.133333  4.200000
95         2      33   0.133333  4.200000
44         2      22   0.133333  4.200000
42         2      34   0.133333  4.200000
41         2      48   0.133333  4.200000