Pandas:分配具有多个条件和日期阈值的列

时间:2017-05-04 20:08:52

标签: python pandas dataframe finance portfolio

编辑:

我在大熊猫数据框df中有一个金融投资组合,其中指数是日期,我每个日期有多个金融股。

例如dataframe:

Date    Stock   Weight  Percentile  Final weight
1/1/2000    Apple   0.010   0.75    0.010
1/1/2000    IBM    0.011    0.4     0
1/1/2000    Google  0.012   0.45    0
1/1/2000    Nokia   0.022   0.81    0.022
2/1/2000    Apple   0.014   0.56    0
2/1/2000    Google  0.015   0.45    0
2/1/2000    Nokia   0.016   0.55    0
3/1/2000    Apple   0.020   0.52    0
3/1/2000    Google  0.030   0.51    0
3/1/2000    Nokia   0.040   0.47    0

我通过在Final_weight大于Weight时分配Percentile的值来创建0.7

现在我希望这有点复杂,我仍然希望在Weight时将Final_weight分配给Percentile is > 0.7,但是在此日期之后(将来的任何时候) ,当股票Percentile不是>0.7时,我们仍然会获得权重,只要股票Percentile高于0.5(即保持仓位)超过一天)。

然后,如果股票低于0.5(在不久的将来),那么Final_weight would become 0

例如,从上面修改数据框:

Date    Stock   Weight  Percentile  Final weight
1/1/2000    Apple   0.010   0.75    0.010
1/1/2000    IBM     0.011   0.4     0
1/1/2000    Google  0.012   0.45    0
1/1/2000    Nokia   0.022   0.81    0.022
2/1/2000    Apple   0.014   0.56    0.014
2/1/2000    Google  0.015   0.45    0
2/1/2000    Nokia   0.016   0.55    0.016
3/1/2000    Apple   0.020   0.52    0.020
3/1/2000    Google  0.030   0.51    0
3/1/2000    Nokia   0.040   0.47    0

每天投资组合不同,并不总是从前一天开始拥有相同的股票。

5 个答案:

答案 0 :(得分:6)

此解决方案更明确,更少熊猫式,但它只涉及一次遍历所有行而不创建大量临时列,因此可能更快。它需要一个额外的状态变量,我把它包装成一个闭包,不必创建一个类。

Not able to find Java executable version. Please check your Java installation. errorlevel=2

答案 1 :(得分:3)

  • 我首先将'Stock'放入索引
  • 然后unstack将它们放入列中
  • 然后我将w分为权重,p分为百分位数
  • 然后使用一系列where
  • 进行操作
d1 = df.set_index('Stock', append=True)

d2 = d1.unstack()

w, p = d2.Weight, d2.Percentile

d1.join(w.where(p > .7, w.where((p.shift() > .7) & (p > .5), 0)).stack().rename('Final Weight'))

                   Weight  Percentile  Final Weight
Date       Stock                                   
2000-01-01 Apple    0.010        0.75         0.010
           IBM      0.011        0.40         0.000
           Google   0.012        0.45         0.000
           Nokia    0.022        0.81         0.022
2000-02-01 Apple    0.014        0.56         0.014
           Google   0.015        0.45         0.000
           Nokia    0.016        0.55         0.016

答案 2 :(得分:2)

一种方法,避免循环和有限的回顾期。

使用您的示例:

import pandas as pd
import numpy as np


>>>df = pd.DataFrame([['1/1/2000',    'Apple',   0.010,   0.75],
                      ['1/1/2000',    'IBM',     0.011,    0.4],
                      ['1/1/2000',    'Google',  0.012,   0.45],
                      ['1/1/2000',    'Nokia',   0.022,   0.81],
                      ['2/1/2000',    'Apple',   0.014,   0.56],
                      ['2/1/2000',    'Google',  0.015,   0.45],
                      ['2/1/2000',    'Nokia',   0.016,   0.55],
                      ['3/1/2000',    'Apple',   0.020,   0.52],
                      ['3/1/2000',    'Google',  0.030,   0.51],
                      ['3/1/2000',    'Nokia',   0.040,   0.47]],
                     columns=['Date', 'Stock', 'Weight', 'Percentile'])

首先,确定股票何时开始或停止跟踪最终权重:

>>>df['bought'] = np.where(df['Percentile'] >= 0.7, 1, np.nan)
>>>df['bought or sold'] = np.where(df['Percentile'] < 0.5, 0, df['bought'])

使用&#39; 1&#39;表示要购买的股票,&#39; 0&#39; 0一个卖,如果拥有。

由此,您可以确定股票是否归属。请注意,这需要按时间顺序对数据框进行排序,如果您在没有日期索引的情况下在数据框上使用它的话:

>>>df['own'] = df.groupby('Stock')['bought or sold'].fillna(method='ffill').fillna(0)

'ffill'是向前填充,从买卖日期向前传播所有权状态。 .fillna(0)捕获整个数据帧中保持在.5和.7之间的任何股票。 然后,计算最终重量

>>>df['Final Weight'] = df['own']*df['Weight']

乘法,df['own']是身份或零,比另一个np.where快一点,并给出相同的结果。

修改

由于速度是一个问题,按照@cronos的建议,在一列中完成所有操作确实提供了速度提升,在我的测试中,在20行中提高了约37%,在2,000,000时提高了18%。如果存储中间列是为了跨越某种内存使用阈值,或者还有其他涉及我没有经历的系统细节,我可以想象后者更大。

这看起来像是:

>>>df['Final Weight'] = np.where(df['Percentile'] >= 0.7, 1, np.nan)
>>>df['Final Weight'] = np.where(df['Percentile'] < 0.5, 0, df['Final Weight'])
>>>df['Final Weight'] = df.groupby('Stock')['Final Weight'].fillna(method='ffill').fillna(0)
>>>df['Final Weight'] = df['Final Weight']*df['Weight']

使用此方法或删除中间字段会产生结果:

>>>df 
       Date   Stock  Weight  Percentile  Final Weight
0  1/1/2000   Apple   0.010        0.75         0.010
1  1/1/2000     IBM   0.011        0.40         0.000
2  1/1/2000  Google   0.012        0.45         0.000
3  1/1/2000   Nokia   0.022        0.81         0.022
4  2/1/2000   Apple   0.014        0.56         0.014
5  2/1/2000  Google   0.015        0.45         0.000
6  2/1/2000   Nokia   0.016        0.55         0.016
7  3/1/2000   Apple   0.020        0.52         0.020
8  3/1/2000  Google   0.030        0.51         0.000
9  3/1/2000   Nokia   0.040        0.47         0.000

为了进一步改进,我考虑添加一种方法来设置拥有股票的初始条件,然后将数据框向下打破以查看较小的时间范围。这可以通过为这些较小的数据帧之一所覆盖的时间段添加初始条件,然后更改

来完成
>>>df['Final Weight'] = np.where(df['Percentile'] >= 0.7, 1, np.nan)

类似

>>>df['Final Weight'] = np.where((df['Percentile'] >= 0.7) | (df['Final Weight'] != 0), 1, np.nan)

允许识别和传播。

答案 3 :(得分:2)

<强>设置

Dataframe:

             Stock  Weight  Percentile  Finalweight
Date                                               
2000-01-01   Apple   0.010        0.75            0
2000-01-01     IBM   0.011        0.40            0
2000-01-01  Google   0.012        0.45            0
2000-01-01   Nokia   0.022        0.81            0
2000-02-01   Apple   0.014        0.56            0
2000-02-01  Google   0.015        0.45            0
2000-02-01   Nokia   0.016        0.55            0
2000-03-01   Apple   0.020        0.52            0
2000-03-01  Google   0.030        0.51            0
2000-03-01   Nokia   0.040        0.57            0

<强>解决方案

df = df.reset_index()
#find historical max percentile for a Stock
df['max_percentile'] = df.apply(lambda x: df[df.Stock==x.Stock].iloc[:x.name].Percentile.max() if x.name>0 else x.Percentile, axis=1)
#set weight according to max_percentile and the current percentile
df['Finalweight'] = df.apply(lambda x: x.Weight if (x.Percentile>0.7) or (x.Percentile>0.5 and x.max_percentile>0.7) else 0, axis=1)

Out[1041]: 
        Date   Stock  Weight  Percentile  Finalweight  max_percentile
0 2000-01-01   Apple   0.010        0.75        0.010            0.75
1 2000-01-01     IBM   0.011        0.40        0.000            0.40
2 2000-01-01  Google   0.012        0.45        0.000            0.45
3 2000-01-01   Nokia   0.022        0.81        0.022            0.81
4 2000-02-01   Apple   0.014        0.56        0.014            0.75
5 2000-02-01  Google   0.015        0.45        0.000            0.51
6 2000-02-01   Nokia   0.016        0.55        0.016            0.81
7 2000-03-01   Apple   0.020        0.52        0.020            0.75
8 2000-03-01  Google   0.030        0.51        0.000            0.51
9 2000-03-01   Nokia   0.040        0.57        0.040            0.81

注意

在您的示例数据的最后一行中,诺基亚百分位数为0.57,而在您的结果中,它变为0.47。在这个例子中,我使用了0.57,因此输出与最后一行的输出略有不同。

答案 4 :(得分:1)

我想你可能想要使用pandas.Series rolling窗口方法。

也许是这样的:

import pandas as pd

grouped = df.groupby('Stock')

df['MaxPercentileToDate'] = np.NaN
df.index = df['Date']

for name, group in grouped:
    df.loc[df.Stock==name, 'MaxPercentileToDate'] = group['Percentile'].rolling(min_periods=0, window=4).max()

# Mask selects rows that have ever been greater than 0.75 (including current row in max)
# and are currently greater than 0.5
mask = ((df['MaxPercentileToDate'] > 0.75) & (df['Percentile'] > 0.5))
df.loc[mask, 'Finalweight'] = df.loc[mask, 'Weight']

我认为这假设值按日期排序(您的初始数据集似乎有),您还必须将min_periods参数调整为每个库存的最大条目数。