编辑:
我在大熊猫数据框df中有一个金融投资组合,其中指数是日期,我每个日期有多个金融股。
例如dataframe:
Date Stock Weight Percentile Final weight
1/1/2000 Apple 0.010 0.75 0.010
1/1/2000 IBM 0.011 0.4 0
1/1/2000 Google 0.012 0.45 0
1/1/2000 Nokia 0.022 0.81 0.022
2/1/2000 Apple 0.014 0.56 0
2/1/2000 Google 0.015 0.45 0
2/1/2000 Nokia 0.016 0.55 0
3/1/2000 Apple 0.020 0.52 0
3/1/2000 Google 0.030 0.51 0
3/1/2000 Nokia 0.040 0.47 0
我通过在Final_weight
大于Weight
时分配Percentile
的值来创建0.7
现在我希望这有点复杂,我仍然希望在Weight
时将Final_weight
分配给Percentile is > 0.7
,但是在此日期之后(将来的任何时候) ,当股票Percentile
不是>0.7
时,我们仍然会获得权重,只要股票Percentile
高于0.5
(即保持仓位)超过一天)。
然后,如果股票低于0.5
(在不久的将来),那么Final_weight would become 0
。
例如,从上面修改数据框:
Date Stock Weight Percentile Final weight
1/1/2000 Apple 0.010 0.75 0.010
1/1/2000 IBM 0.011 0.4 0
1/1/2000 Google 0.012 0.45 0
1/1/2000 Nokia 0.022 0.81 0.022
2/1/2000 Apple 0.014 0.56 0.014
2/1/2000 Google 0.015 0.45 0
2/1/2000 Nokia 0.016 0.55 0.016
3/1/2000 Apple 0.020 0.52 0.020
3/1/2000 Google 0.030 0.51 0
3/1/2000 Nokia 0.040 0.47 0
每天投资组合不同,并不总是从前一天开始拥有相同的股票。
答案 0 :(得分:6)
此解决方案更明确,更少熊猫式,但它只涉及一次遍历所有行而不创建大量临时列,因此可能更快。它需要一个额外的状态变量,我把它包装成一个闭包,不必创建一个类。
Not able to find Java executable version. Please check your Java installation. errorlevel=2
答案 1 :(得分:3)
'Stock'
放入索引unstack
将它们放入列中w
分为权重,p
分为百分位数where
d1 = df.set_index('Stock', append=True)
d2 = d1.unstack()
w, p = d2.Weight, d2.Percentile
d1.join(w.where(p > .7, w.where((p.shift() > .7) & (p > .5), 0)).stack().rename('Final Weight'))
Weight Percentile Final Weight
Date Stock
2000-01-01 Apple 0.010 0.75 0.010
IBM 0.011 0.40 0.000
Google 0.012 0.45 0.000
Nokia 0.022 0.81 0.022
2000-02-01 Apple 0.014 0.56 0.014
Google 0.015 0.45 0.000
Nokia 0.016 0.55 0.016
答案 2 :(得分:2)
一种方法,避免循环和有限的回顾期。
使用您的示例:
import pandas as pd
import numpy as np
>>>df = pd.DataFrame([['1/1/2000', 'Apple', 0.010, 0.75],
['1/1/2000', 'IBM', 0.011, 0.4],
['1/1/2000', 'Google', 0.012, 0.45],
['1/1/2000', 'Nokia', 0.022, 0.81],
['2/1/2000', 'Apple', 0.014, 0.56],
['2/1/2000', 'Google', 0.015, 0.45],
['2/1/2000', 'Nokia', 0.016, 0.55],
['3/1/2000', 'Apple', 0.020, 0.52],
['3/1/2000', 'Google', 0.030, 0.51],
['3/1/2000', 'Nokia', 0.040, 0.47]],
columns=['Date', 'Stock', 'Weight', 'Percentile'])
首先,确定股票何时开始或停止跟踪最终权重:
>>>df['bought'] = np.where(df['Percentile'] >= 0.7, 1, np.nan)
>>>df['bought or sold'] = np.where(df['Percentile'] < 0.5, 0, df['bought'])
使用&#39; 1&#39;表示要购买的股票,&#39; 0&#39; 0一个卖,如果拥有。
由此,您可以确定股票是否归属。请注意,这需要按时间顺序对数据框进行排序,如果您在没有日期索引的情况下在数据框上使用它的话:
>>>df['own'] = df.groupby('Stock')['bought or sold'].fillna(method='ffill').fillna(0)
'ffill'
是向前填充,从买卖日期向前传播所有权状态。 .fillna(0)
捕获整个数据帧中保持在.5和.7之间的任何股票。
然后,计算最终重量
>>>df['Final Weight'] = df['own']*df['Weight']
乘法,df['own']
是身份或零,比另一个np.where快一点,并给出相同的结果。
修改强>
由于速度是一个问题,按照@cronos的建议,在一列中完成所有操作确实提供了速度提升,在我的测试中,在20行中提高了约37%,在2,000,000时提高了18%。如果存储中间列是为了跨越某种内存使用阈值,或者还有其他涉及我没有经历的系统细节,我可以想象后者更大。
这看起来像是:
>>>df['Final Weight'] = np.where(df['Percentile'] >= 0.7, 1, np.nan)
>>>df['Final Weight'] = np.where(df['Percentile'] < 0.5, 0, df['Final Weight'])
>>>df['Final Weight'] = df.groupby('Stock')['Final Weight'].fillna(method='ffill').fillna(0)
>>>df['Final Weight'] = df['Final Weight']*df['Weight']
使用此方法或删除中间字段会产生结果:
>>>df
Date Stock Weight Percentile Final Weight
0 1/1/2000 Apple 0.010 0.75 0.010
1 1/1/2000 IBM 0.011 0.40 0.000
2 1/1/2000 Google 0.012 0.45 0.000
3 1/1/2000 Nokia 0.022 0.81 0.022
4 2/1/2000 Apple 0.014 0.56 0.014
5 2/1/2000 Google 0.015 0.45 0.000
6 2/1/2000 Nokia 0.016 0.55 0.016
7 3/1/2000 Apple 0.020 0.52 0.020
8 3/1/2000 Google 0.030 0.51 0.000
9 3/1/2000 Nokia 0.040 0.47 0.000
为了进一步改进,我考虑添加一种方法来设置拥有股票的初始条件,然后将数据框向下打破以查看较小的时间范围。这可以通过为这些较小的数据帧之一所覆盖的时间段添加初始条件,然后更改
来完成>>>df['Final Weight'] = np.where(df['Percentile'] >= 0.7, 1, np.nan)
类似
>>>df['Final Weight'] = np.where((df['Percentile'] >= 0.7) | (df['Final Weight'] != 0), 1, np.nan)
允许识别和传播。
答案 3 :(得分:2)
<强>设置强>
Dataframe:
Stock Weight Percentile Finalweight
Date
2000-01-01 Apple 0.010 0.75 0
2000-01-01 IBM 0.011 0.40 0
2000-01-01 Google 0.012 0.45 0
2000-01-01 Nokia 0.022 0.81 0
2000-02-01 Apple 0.014 0.56 0
2000-02-01 Google 0.015 0.45 0
2000-02-01 Nokia 0.016 0.55 0
2000-03-01 Apple 0.020 0.52 0
2000-03-01 Google 0.030 0.51 0
2000-03-01 Nokia 0.040 0.57 0
<强>解决方案强>
df = df.reset_index()
#find historical max percentile for a Stock
df['max_percentile'] = df.apply(lambda x: df[df.Stock==x.Stock].iloc[:x.name].Percentile.max() if x.name>0 else x.Percentile, axis=1)
#set weight according to max_percentile and the current percentile
df['Finalweight'] = df.apply(lambda x: x.Weight if (x.Percentile>0.7) or (x.Percentile>0.5 and x.max_percentile>0.7) else 0, axis=1)
Out[1041]:
Date Stock Weight Percentile Finalweight max_percentile
0 2000-01-01 Apple 0.010 0.75 0.010 0.75
1 2000-01-01 IBM 0.011 0.40 0.000 0.40
2 2000-01-01 Google 0.012 0.45 0.000 0.45
3 2000-01-01 Nokia 0.022 0.81 0.022 0.81
4 2000-02-01 Apple 0.014 0.56 0.014 0.75
5 2000-02-01 Google 0.015 0.45 0.000 0.51
6 2000-02-01 Nokia 0.016 0.55 0.016 0.81
7 2000-03-01 Apple 0.020 0.52 0.020 0.75
8 2000-03-01 Google 0.030 0.51 0.000 0.51
9 2000-03-01 Nokia 0.040 0.57 0.040 0.81
注意强>
在您的示例数据的最后一行中,诺基亚百分位数为0.57,而在您的结果中,它变为0.47。在这个例子中,我使用了0.57,因此输出与最后一行的输出略有不同。
答案 4 :(得分:1)
我想你可能想要使用pandas.Series rolling窗口方法。
也许是这样的:
import pandas as pd
grouped = df.groupby('Stock')
df['MaxPercentileToDate'] = np.NaN
df.index = df['Date']
for name, group in grouped:
df.loc[df.Stock==name, 'MaxPercentileToDate'] = group['Percentile'].rolling(min_periods=0, window=4).max()
# Mask selects rows that have ever been greater than 0.75 (including current row in max)
# and are currently greater than 0.5
mask = ((df['MaxPercentileToDate'] > 0.75) & (df['Percentile'] > 0.5))
df.loc[mask, 'Finalweight'] = df.loc[mask, 'Weight']
我认为这假设值按日期排序(您的初始数据集似乎有),您还必须将min_periods
参数调整为每个库存的最大条目数。