Python Pandas,在.groupby()中对组中的行进行切片.apply()

时间:2016-03-17 19:44:57

标签: python pandas group-by dataframe slice

我有以下代码设置,调用和groupBy并应用于Python Pandas DataFrame。

奇怪的是我无法按行(例如df.loc[2:5])对分组数据进行切片而没有完全拧紧输出(如调试中所示),如何删除行并获取此值期望的输出?

任何帮助都会受到大力赞赏,我会在一个更复杂的函数上运行这个帮助,但已经将问题精确定位到行切片!

代码:

import pandas as pd
df = pd.DataFrame({'one' : ['AAL', 'AAL', 'AAPL', 'AAPL'], 'two' : [1, 2, 3, 4]})

def net_func(df):
    df_res = daily_func(df, True)
    df_res_valid = daily_func(df, False)
    df_merge = pd.merge(df_res, df_res_valid)
    return df_merge

def daily_func(df, bool_param):

#     df.drop(df.head(1).index, inplace=True)
#     df = df[1:1]
#     df.iloc[1:1,:]
#     df.loc[1:1,:]


    if bool_param:
        df['daily'+str(bool_param)] = 1
    else:
        df['daily'+str(bool_param)] = 0    
    return df

print df.groupby('one').apply(net_func)

当前输出:

         one  two  dailyTrue  dailyFalse
one                                     
AAL  0   AAL    1          1           0
     1   AAL    2          1           0
AAPL 0  AAPL    1          1           0
     1  AAPL    2          1           0

期望的输出:

         one  two  dailyTrue  dailyFalse
one                                     
AAL  1   AAL    2          1           0
AAPL 1  AAPL    2          1           0

理想情况下,我希望能够为每个组逐行切片,例如df.loc[3:5] - 这将是完美的!

我试过评论如下:

输出df.drop(df.head(1).index, inplace=True)

Empty DataFrame
Columns: [one, two, dailyTrue, dailyFalse]
Index: []

更新:还尝试使用df = df[1:1]输出:

Empty DataFrame
Columns: [one, two, dailyTrue, dailyFalse]
Index: []

更新也尝试了df.iloc[1:1,:]

         one  two  dailyTrue  dailyFalse
one                                     
AAL  0   AAL    1          1           0
     1   AAL    2          1           0
AAPL 0  AAPL    1          1           0
     1  AAPL    2          1           0

df.loc[1:1,:]

         one  two  dailyTrue  dailyFalse
one                                     
AAL  0   AAL    1          1           0
     1   AAL    2          1           0
AAPL 0  AAPL    1          1           0
     1  AAPL    2          1           0

2 个答案:

答案 0 :(得分:3)

我感到有必要在GroupBy对象内部切片,并且通过应用以下猴子补丁来做到这一点:

def __groupby_slice( _grp, start=0, stop=None, step=1):
    '''
    Applies a slice to a GroupBy object
    '''
    return _grp.apply( lambda _df : _df.iloc[start:stop:step]).reset_index(drop=True)

pd.core.groupby.GroupBy.slice = __groupby_slice

用作:

df.groupby('feature0').slice(-10, -3, 2)

pandas==0.25.3

一起使用

答案 1 :(得分:1)

考虑在groupby().apply()之后使用横截面切片xs,相应地指定每个关键字:

print df.groupby('one').apply(net_func).xs(0, level=1)
#       one  two  dailyTrue  dailyFalse
#one                                   
#AAL    AAL    1          1           0
#AAPL  AAPL    1          1           0

print df.groupby('one').apply(net_func).xs(1, level=1)
#       one  two  dailyTrue  dailyFalse
#one                                   
#AAL    AAL    2          1           0
#AAPL  AAPL    2          1           0

或者,将multiple indexing与元组列表一起使用:

print df.groupby('one').apply(net_func).ix[[('AAL', 1), ('AAPL', 1)]]
#         one  two  dailyTrue  dailyFalse
#one                                     
#AAL  1   AAL    2          1           0
#AAPL 1  AAPL    2          1           0

更多切片(在pandas 0.14中引入):

print df.groupby('one').apply(net_func).loc[(slice('AAL','AAPL'),slice(1,1)),:]
#         one  two  dailyTrue  dailyFalse
#one                                     
#AAL  1   AAL    2          1           0
#AAPL 1  AAPL    2          1           0