熊猫在每组中获得最高n条记录

时间:2013-11-19 10:28:37

标签: python pandas greatest-n-per-group window-functions top-n

假设我有像这样的pandas DataFrame:

>>> df = pd.DataFrame({'id':[1,1,1,2,2,2,2,3,4],'value':[1,2,3,1,2,3,4,1,1]})
>>> df
   id  value
0   1      1
1   1      2
2   1      3
3   2      1
4   2      2
5   2      3
6   2      4
7   3      1
8   4      1

我想为每个id获取一个包含前2条记录的新DataFrame,如下所示:

   id  value
0   1      1
1   1      2
3   2      1
4   2      2
7   3      1
8   4      1

我可以通过以下方式分组编号记录:

>>> dfN = df.groupby('id').apply(lambda x:x['value'].reset_index()).reset_index()
>>> dfN
   id  level_1  index  value
0   1        0      0      1
1   1        1      1      2
2   1        2      2      3
3   2        0      3      1
4   2        1      4      2
5   2        2      5      3
6   2        3      6      4
7   3        0      7      1
8   4        0      8      1
>>> dfN[dfN['level_1'] <= 1][['id', 'value']]
   id  value
0   1      1
1   1      2
3   2      1
4   2      2
7   3      1
8   4      1

但这样做是否有更有效/优雅的方法?并且每个组中的数字记录都有更优雅的方法(如SQL窗口函数row_number())。

4 个答案:

答案 0 :(得分:130)

您是否尝试过df.groupby('id').head(2)

产生输出:

>>> df.groupby('id').head(2)
       id  value
id             
1  0   1      1
   1   1      2 
2  3   2      1
   4   2      2
3  7   3      1
4  8   4      1

(请记住,您可能需要先订购/排序,具体取决于您的数据)

编辑:如提问者所述,使用df.groupby('id').head(2).reset_index(drop=True)删除多索引并展平结果。

>>> df.groupby('id').head(2).reset_index(drop=True)
    id  value
0   1      1
1   1      2
2   2      1
3   2      2
4   3      1
5   4      1

答案 1 :(得分:107)

Since 0.14.1,您现在可以在nlargest对象上执行nsmallestgroupby

In [23]: df.groupby('id')['value'].nlargest(2)
Out[23]: 
id   
1   2    3
    1    2
2   6    4
    5    3
3   7    1
4   8    1
dtype: int64

你在那里获得原始索引有点奇怪,但这可能非常有用,具体取决于原始索引

如果您对此不感兴趣,可以.reset_index(level=1, drop=True)完全摆脱它。

(注意:From 0.17.1您也可以在DataFrameGroupBy上执行此操作,但目前它仅适用于SeriesSeriesGroupBy。)

答案 2 :(得分:2)

df.groupby('id').apply(lambda x : x.sort_values(by = 'value', ascending = False).head(2).reset_index(drop = True))
  • 此处排序值升序 false 与 nlargest 相似,True 与 nsmallest 相似。
  • head 内部的值与我们在 nlargest 内部给出的值相同,以获得每个组要显示的值的数量。
  • reset_index 是可选的,不是必需的。

答案 3 :(得分:0)

有时将整个数据提前排序非常耗时。 我们可以先分组,然后对每个组进行topk:

g = df.groupby(['id']).apply(lambda x: x.nlargest(topk,['value'])).reset_index(drop=True)