Python pandas rolling_apply将两列输入到函数中

时间:2014-01-10 09:41:09

标签: python pandas

继续此问题Python custom function using rolling_apply for pandas,关于使用rolling_apply。虽然我的功能已经取得了进展,但我正在努力处理需要两列或更多列作为输入的函数:

创建与之前相同的设置

import pandas as pd
import numpy as np
import random

tmp  = pd.DataFrame(np.random.randn(2000,2)/10000, 
                    index=pd.date_range('2001-01-01',periods=2000),
                    columns=['A','B'])

但稍微更改功能需要两列。

def gm(df,p):
    df = pd.DataFrame(df)
    v =((((df['A']+df['B'])+1).cumprod())-1)*p
    return v.iloc[-1]

它会产生以下错误:

pd.rolling_apply(tmp,50,lambda x: gm(x,5))

  KeyError: u'no item named A'

我认为这是因为lambda函数的输入是长度为50且仅在第一列的ndarray,并且不会将两列作为输入。有没有办法将两列作为输入并在rolling_apply函数中使用它。

再次感谢任何帮助......

4 个答案:

答案 0 :(得分:7)

看起来rolling_apply会尝试将用户func的输入转换为ndarray(http://pandas.pydata.org/pandas-docs/stable/generated/pandas.stats.moments.rolling_apply.html?highlight=rolling_apply#pandas.stats.moments.rolling_apply)。

基于使用辅助列 ii 的解决方法,用于选择操作函数gm中的窗口:

import pandas as pd
import numpy as np
import random

tmp = pd.DataFrame(np.random.randn(2000,2)/10000, columns=['A','B'])
tmp['date'] = pd.date_range('2001-01-01',periods=2000)
tmp['ii'] = range(len(tmp))            

def gm(ii, df, p):
    x_df = df.iloc[map(int, ii)]
    #print x_df
    v =((((x_df['A']+x_df['B'])+1).cumprod())-1)*p
    #print v
    return v.iloc[-1]

#print tmp.head()
res = pd.rolling_apply(tmp.ii, 50, lambda x: gm(x, tmp, 5))
print res

答案 1 :(得分:1)

所有rolling_ *函数都适用于1d数组。我确信可以为传递2d数组创建一些变通方法,但在您的情况下,您可以简单地预先计算滚动评估的行方式值:

>>> def gm(x,p):
...     return ((np.cumprod(x) - 1)*p)[-1]
...
>>> pd.rolling_apply(tmp['A']+tmp['B']+1, 50, lambda x: gm(x,5))
2001-01-01   NaN
2001-01-02   NaN
2001-01-03   NaN
2001-01-04   NaN
2001-01-05   NaN
2001-01-06   NaN
2001-01-07   NaN
2001-01-08   NaN
2001-01-09   NaN
2001-01-10   NaN
2001-01-11   NaN
2001-01-12   NaN
2001-01-13   NaN
2001-01-14   NaN
2001-01-15   NaN
...
2006-06-09   -0.000062
2006-06-10   -0.000128
2006-06-11    0.000185
2006-06-12   -0.000113
2006-06-13   -0.000962
2006-06-14   -0.001248
2006-06-15   -0.001962
2006-06-16   -0.003820
2006-06-17   -0.003412
2006-06-18   -0.002971
2006-06-19   -0.003882
2006-06-20   -0.003546
2006-06-21   -0.002226
2006-06-22   -0.002058
2006-06-23   -0.000553
Freq: D, Length: 2000

答案 2 :(得分:1)

以下是此问题的另一个版本:Using rolling_apply on a DataFrame object。如果函数返回一个Series,请使用此选项。

由于您的标量返回标量,请执行此操作。

In [71]: df  = pd.DataFrame(np.random.randn(2000,2)/10000, 
                    index=pd.date_range('2001-01-01',periods=2000),
                    columns=['A','B'])

重新定义函数以返回包含要使用的索引和计算的标量值的元组。请注意,这稍微不同,因为我们在这里返回第一个索引(而不是通常返回的最后一个,你可以做到)。

In [72]: def gm(df,p):
              v =((((df['A']+df['B'])+1).cumprod())-1)*p
              return (df.index[0],v.iloc[-1])


In [73]: Series(dict([ gm(df.iloc[i:min((i+1)+50,len(df)-1)],5) for i in xrange(len(df)-50) ]))

Out[73]: 
2001-01-01    0.000218
2001-01-02   -0.001048
2001-01-03   -0.002128
2001-01-04   -0.003590
2001-01-05   -0.004636
2001-01-06   -0.005377
2001-01-07   -0.004151
2001-01-08   -0.005155
2001-01-09   -0.004019
2001-01-10   -0.004912
2001-01-11   -0.005447
2001-01-12   -0.005258
2001-01-13   -0.004437
2001-01-14   -0.004207
2001-01-15   -0.004073
...
2006-04-20   -0.006612
2006-04-21   -0.006299
2006-04-22   -0.006320
2006-04-23   -0.005690
2006-04-24   -0.004316
2006-04-25   -0.003821
2006-04-26   -0.005102
2006-04-27   -0.004760
2006-04-28   -0.003832
2006-04-29   -0.004123
2006-04-30   -0.004241
2006-05-01   -0.004684
2006-05-02   -0.002993
2006-05-03   -0.003938
2006-05-04   -0.003528
Length: 1950

答案 3 :(得分:1)

不确定在这里是否仍然有用,对于熊猫上的新rolling类,每当我们将raw=False传递给apply时,我们实际上是将系列传递给包装器,这意味着我们可以访问每个观察值的索引,并可以使用它来进一步处理多列。

从文档中

  

原始:布尔值,默认为无

     
    

False:将每一行或每一列作为一个系列传递给该函数。

         

True或None:传递的函数将改为接收ndarray对象。如果您仅应用NumPy缩减功能,则将获得更好的性能。

  

在这种情况下,我们可以执行以下操作:

### create a func for multiple columns
def cust_func(s):

    val_for_col2 = df.loc[s.index, col2] #.values
    val_for_col3 = df.loc[s.index, col3] #.values
    val_for_col4 = df.loc[s.index, col4] #.values

    ## apply over multiple column values
    return np.max(s) *np.min(val_for_col2)*np.max(val_for_cal3)*np.mean(val_for_col4)


### Apply to the dataframe
df.rolling('10s')['col1'].apply(cust_func, raw=False)

请注意,这里我们仍然可以使用pandas rolling类中的所有功能,这在处理与时间相关的窗口时特别有用。

我们只传递一列并使用整个数据框的事实感觉很像黑客,但实际上是可行的。