继续此问题Python custom function using rolling_apply for pandas,关于使用rolling_apply
。虽然我的功能已经取得了进展,但我正在努力处理需要两列或更多列作为输入的函数:
创建与之前相同的设置
import pandas as pd
import numpy as np
import random
tmp = pd.DataFrame(np.random.randn(2000,2)/10000,
index=pd.date_range('2001-01-01',periods=2000),
columns=['A','B'])
但稍微更改功能需要两列。
def gm(df,p):
df = pd.DataFrame(df)
v =((((df['A']+df['B'])+1).cumprod())-1)*p
return v.iloc[-1]
它会产生以下错误:
pd.rolling_apply(tmp,50,lambda x: gm(x,5))
KeyError: u'no item named A'
我认为这是因为lambda函数的输入是长度为50且仅在第一列的ndarray,并且不会将两列作为输入。有没有办法将两列作为输入并在rolling_apply
函数中使用它。
再次感谢任何帮助......
答案 0 :(得分:7)
看起来rolling_apply会尝试将用户func的输入转换为ndarray(http://pandas.pydata.org/pandas-docs/stable/generated/pandas.stats.moments.rolling_apply.html?highlight=rolling_apply#pandas.stats.moments.rolling_apply)。
基于使用辅助列 ii 的解决方法,用于选择操作函数gm中的窗口:
import pandas as pd
import numpy as np
import random
tmp = pd.DataFrame(np.random.randn(2000,2)/10000, columns=['A','B'])
tmp['date'] = pd.date_range('2001-01-01',periods=2000)
tmp['ii'] = range(len(tmp))
def gm(ii, df, p):
x_df = df.iloc[map(int, ii)]
#print x_df
v =((((x_df['A']+x_df['B'])+1).cumprod())-1)*p
#print v
return v.iloc[-1]
#print tmp.head()
res = pd.rolling_apply(tmp.ii, 50, lambda x: gm(x, tmp, 5))
print res
答案 1 :(得分:1)
所有rolling_ *函数都适用于1d数组。我确信可以为传递2d数组创建一些变通方法,但在您的情况下,您可以简单地预先计算滚动评估的行方式值:
>>> def gm(x,p):
... return ((np.cumprod(x) - 1)*p)[-1]
...
>>> pd.rolling_apply(tmp['A']+tmp['B']+1, 50, lambda x: gm(x,5))
2001-01-01 NaN
2001-01-02 NaN
2001-01-03 NaN
2001-01-04 NaN
2001-01-05 NaN
2001-01-06 NaN
2001-01-07 NaN
2001-01-08 NaN
2001-01-09 NaN
2001-01-10 NaN
2001-01-11 NaN
2001-01-12 NaN
2001-01-13 NaN
2001-01-14 NaN
2001-01-15 NaN
...
2006-06-09 -0.000062
2006-06-10 -0.000128
2006-06-11 0.000185
2006-06-12 -0.000113
2006-06-13 -0.000962
2006-06-14 -0.001248
2006-06-15 -0.001962
2006-06-16 -0.003820
2006-06-17 -0.003412
2006-06-18 -0.002971
2006-06-19 -0.003882
2006-06-20 -0.003546
2006-06-21 -0.002226
2006-06-22 -0.002058
2006-06-23 -0.000553
Freq: D, Length: 2000
答案 2 :(得分:1)
以下是此问题的另一个版本:Using rolling_apply on a DataFrame object。如果函数返回一个Series,请使用此选项。
由于您的标量返回标量,请执行此操作。
In [71]: df = pd.DataFrame(np.random.randn(2000,2)/10000,
index=pd.date_range('2001-01-01',periods=2000),
columns=['A','B'])
重新定义函数以返回包含要使用的索引和计算的标量值的元组。请注意,这稍微不同,因为我们在这里返回第一个索引(而不是通常返回的最后一个,你可以做到)。
In [72]: def gm(df,p):
v =((((df['A']+df['B'])+1).cumprod())-1)*p
return (df.index[0],v.iloc[-1])
In [73]: Series(dict([ gm(df.iloc[i:min((i+1)+50,len(df)-1)],5) for i in xrange(len(df)-50) ]))
Out[73]:
2001-01-01 0.000218
2001-01-02 -0.001048
2001-01-03 -0.002128
2001-01-04 -0.003590
2001-01-05 -0.004636
2001-01-06 -0.005377
2001-01-07 -0.004151
2001-01-08 -0.005155
2001-01-09 -0.004019
2001-01-10 -0.004912
2001-01-11 -0.005447
2001-01-12 -0.005258
2001-01-13 -0.004437
2001-01-14 -0.004207
2001-01-15 -0.004073
...
2006-04-20 -0.006612
2006-04-21 -0.006299
2006-04-22 -0.006320
2006-04-23 -0.005690
2006-04-24 -0.004316
2006-04-25 -0.003821
2006-04-26 -0.005102
2006-04-27 -0.004760
2006-04-28 -0.003832
2006-04-29 -0.004123
2006-04-30 -0.004241
2006-05-01 -0.004684
2006-05-02 -0.002993
2006-05-03 -0.003938
2006-05-04 -0.003528
Length: 1950
答案 3 :(得分:1)
不确定在这里是否仍然有用,对于熊猫上的新rolling
类,每当我们将raw=False
传递给apply
时,我们实际上是将系列传递给包装器,这意味着我们可以访问每个观察值的索引,并可以使用它来进一步处理多列。
从文档中
原始:布尔值,默认为无
False:将每一行或每一列作为一个系列传递给该函数。
True或None:传递的函数将改为接收ndarray对象。如果您仅应用NumPy缩减功能,则将获得更好的性能。
在这种情况下,我们可以执行以下操作:
### create a func for multiple columns
def cust_func(s):
val_for_col2 = df.loc[s.index, col2] #.values
val_for_col3 = df.loc[s.index, col3] #.values
val_for_col4 = df.loc[s.index, col4] #.values
## apply over multiple column values
return np.max(s) *np.min(val_for_col2)*np.max(val_for_cal3)*np.mean(val_for_col4)
### Apply to the dataframe
df.rolling('10s')['col1'].apply(cust_func, raw=False)
请注意,这里我们仍然可以使用pandas rolling
类中的所有功能,这在处理与时间相关的窗口时特别有用。
我们只传递一列并使用整个数据框的事实感觉很像黑客,但实际上是可行的。