pandas dataframe groupby和get nth row

时间:2013-11-20 04:57:49

标签: python pandas dataframe

我有一个像下面这样的pandas DataFrame。

df = pd.DataFrame([[1.1, 1.1, 1.1, 2.6, 2.5, 3.4,2.6,2.6,3.4,3.4,2.6,1.1,1.1,3.3], list('AAABBBBABCBDDD'), [1.1, 1.7, 2.5, 2.6, 3.3, 3.8,4.0,4.2,4.3,4.5,4.6,4.7,4.7,4.8], ['x/y/z','x/y','x/y/z/n','x/u','x','x/u/v','x/y/z','x','x/u/v/b','-','x/y','x/y/z','x','x/u/v/w'],['1','3','3','2','4','2','5','3','6','3','5','1','1','1'],['200','400','404','200','200','404','200','404','500','200','500','200','200','400']]).T

df.columns = ['col1','col2','col3','col4','ID','col5']

我希望通过“ID”对此进行分组并获得每组的第2行。后来我还需要获得第3名和第4名。只是解释一下如何只获得每组的第二行。

我试过以下给出了第一个和第二个。

df.groupby('ID').head(2)

相反,我只需要获得第二行。由于ID 4和6没有第二行需要忽略它们。

             col1 col2 col3     col4     ID    col5
ID                                           
1       0   1.1     A  1.1    x/y/z       1    200
        11  1.1     D  4.7    x/y/z       1    200
2       3   2.6     B  2.6      x/u       2    200
        5   3.4     B  3.8    x/u/v       2    404
3       1   1.1     A  1.7      x/y       3    400
        2   1.1     A  2.5  x/y/z/n       3    404
4       4   2.5     B  3.3        x       4    200
5       6   2.6     B    4    x/y/z       5    200
        10  2.6     B  4.6      x/y       5    500
6       8   3.4     B  4.3  x/u/v/b       6    500

2 个答案:

答案 0 :(得分:13)

认为第n个方法应该这样做:

In [11]: g.nth(1).dropna()
Out[11]: 
    col1 col2  col3     col4 col5
ID                               
1    1.1    D   4.7    x/y/z  200
2    3.4    B   3.8    x/u/v  404
3    1.1    A   2.5  x/y/z/n  404
5    2.6    B   4.6      x/y  500

在0.13中,另一种方法是使用cumcount:

df[g.cumcount() == n - 1]

... 显着更快。

In [21]: %timeit g.nth(1).dropna()
100 loops, best of 3: 11.3 ms per loop

In [22]: %timeit df[g.cumcount() == 1]
1000 loops, best of 3: 286 µs per loop

答案 1 :(得分:1)

如果在groupby上使用apply,则会在每个组上调用您传递的函数,并将其作为DataFrame传递。所以你可以这样做:

df.groupby('ID').apply(lambda t: t.iloc[1])

但是,如果该组没有至少两行,则会引发错误。如果要排除少于两行的组,则可能会更棘手。我不知道只为某些群体排除apply的结果的方法。您可以先删除小组,然后返回一行nan填充的DataFrame,然后对结果执行dropna,尝试过滤组列表。