我有投资组合中公司的股价，我的目标是创建新列df['Final_weights']，但保持df['weights']和df['final_weights']的每个日期和类别的权重总和相同。
对于同一类别公司的股票价格在最低30％的公司中，我想给权重0，我想给股价超过70％的公司更高的权重特定日期对同一类别公司的百分位数。
我有一个包含多个日期的数据框和各自类别的公司：
例如df的子集：
Date Category Company Price weight
1/1/2007 Automative Audi 1000 0.146
1/1/2007 Automative Alfa Romeo 400 0.143
1/1/2007 Automative Aston Martin500 0.002
1/1/2007 Automative Bentley 2000 0.025
1/1/2007 Automative Mercedes 3000 0.063
1/1/2007 Automative BMW 40 0.154
1/1/2007 Automative Volvo 3000 0.163
1/1/2007 Automative VW 200 0.003
1/1/2007 Technology Apple 400 0.120
1/1/2007 Technology Microsoft 5500 0.048
1/1/2007 Technology Google 230 0.069
1/1/2007 Technology Lenova 36 0.036
1/1/2007 Technology IBM 250 0.016
1/1/2007 Technology Sprint 231 0.013
好了，现在我写了一些代码，创建了一个新列，给出了每个公司每个日期和每个类别的百分位数。代码如下所示：
df['Pctile'] = df.Price.groupby([df.index, df.Category]).rank(pct='True')
输出：
Category Company Price weight Pctile
Date
1/1/2007 Automative Audi 1000 0.146 0.625000
1/1/2007 Automative Alfa Romeo 400 0.143 0.375000
1/1/2007 Automative Aston Martin 500 0.002 0.500000
1/1/2007 Automative Bentley 2000 0.025 0.750000
1/1/2007 Automative Mercedes 3000 0.063 0.937500
1/1/2007 Automative BMW 40 0.154 0.125000
1/1/2007 Automative Volvo 3000 0.163 0.937500
1/1/2007 Automative VW 200 0.003 0.250000
1/1/2007 Technology Apple 400 0.120 0.833333
1/1/2007 Technology Microsoft 5500 0.048 1.000000
1/1/2007 Technology Google 230 0.069 0.333333
1/1/2007 Technology Lenova 36 0.036 0.166667
1/1/2007 Technology IBM 250 0.016 0.666667
1/1/2007 Technology Sprint 231 0.013 0.500000
现在我想要一个名为df['Final_weight']的最终专栏。
我想要做的就是每个日期和类别都是这三件事，
df['Pctile']为<0.3我想要df['Final_weight'] = 0. df['Pctile']为>= 0.3且<= 0.7时
df['Final_weight'] = df['weight']。df['PCtile'] >0.7 = (weight / sum of weights above
70%pctile) *(sum of weights above 70%pctile + sum of weights below
30%pctile) 以下是一些示例输出和示例计算：
1/1/2007的自动化： 1）sum of weights above 70%pctile = 0.251
2）sum of weights below 30%pctile = 0.157
Bentley的计算= 0.025 / 0.251 * (0.251 + 0.157) = 0.041
梅赛德斯的计算= 0.063 / 0.251 * (0.251 + 0.157) = 0.102
计算沃尔沃= 0.163 / 0.251 * (0.251 + 0.157) = 0.265
现在1/1/2007的Automative的权重和final_weight的总和是相同的。它们总和为0.699。
1/1/2007的技术： 1）sum of weights above 70%pctile = 0.168
2）sum of weights below 30%pctile = 0.036
计算Apple = 0.120 / 0.168 * (0.168 + 0.036) = 0.146
计算Microsoft = 0.048 / 0.168 * (0.168 + 0.036) = 0.058
现在，1/1/2007的技术的权重和final_weight的总和是相同的。它们总和为0.302。此日期的总和也保持为1。
例如输出：
Category Company Price weight Pctile Final_weight
Date
1/1/2007 Automative Audi 1000 0.146 0.625000 0.146
1/1/2007 Automative Alfa Romeo 400 0.143 0.375000 0.143
1/1/2007 Automative Aston Martin 500 0.002 0.500000 0.002
1/1/2007 Automative Bentley 2000 0.025 0.750000 0.041
1/1/2007 Automative Mercedes 3000 0.063 0.937500 0.102
1/1/2007 Automative BMW 40 0.154 0.125000 0.000
1/1/2007 Automative Volvo 3000 0.163 0.937500 0.265
1/1/2007 Automative VW 200 0.003 0.250000 0
1/1/2007 Technology Apple 400 0.120 0.833333 0.146
1/1/2007 Technology Microsoft 5500 0.048 1.000000 0.058
1/1/2007 Technology Google 230 0.069 0.333333 0.069
1/1/2007 Technology Lenova 36 0.036 0.166667 0.000
1/1/2007 Technology IBM 250 0.016 0.666667 0.016
1/1/2007 Technology Sprint 231 0.013 0.500000 0.013
我的数据很大，有很多类别，日期，公司。很想看到一种有效的编程方式。谢谢你的帮助。
答案 0 :(得分：1)
虽然我希望这是一个群体性的群体解决方案，但它并非如此。这是一个肮脏的黑客。我无法执行groupby解决方案的原因是，据我所知，没有办法选择并使用groupby将列传递到multiple argument functions。足够的事情......
现在我说它很hacky所以请试试你的数据集。我不知道它在大型数据集上有多快，但请告诉我。
import pandas as pd
#make a lazy example
date = ['1/1/2017']*10
category = ['car']*5 + ['tech']*5
company = ['a', 'b', 'c', 'd', 'e', 'f', 'g', 'h', 'i', 'j']
price = [10, 300, 100, 400, 500, 230, 324, 543, 234, 124]
weight = [0.2, 0.1, 0.3, 0.2, 0.2, 0.15, 0.15, 0.4, 0.1, 0.2]
data = {'date': date, 'category': category, 'company': company, 'price': price, 'weight': weight}
df = pd.DataFrame(data)
#do you percentile thing
df['pctile'] = df.price.groupby([df.date, df.category]).rank(pct='True')
# define a function?
def seventy_thirty(df):
s = df.ix[df.pctile > 0.7, 'pctile']
s.ix[:] = 'upper'
l = df.ix[df.pctile < 0.3, 'pctile']
l.ix[:] = 'lower'
s = s.append(l)
return s
df['pctile_summary'] = seventy_thirty(df)
# created a dataframe with weights the we can merge make into another column
weighted = df.groupby(['date', 'category', 'pctile_summary']).sum().ix[:, ['weight']]
# add lowers onto uppers as we'll need them in final_weights
add_lower = weighted.ix[weighted.index.get_level_values('pctile_summary')=='lower', ['weight']].reset_index(level=2)
add_lower.pctile_summary = 'upper'
add_lower = add_lower.set_index('pctile_summary', append=True)
weighted = pd.merge(weighted, add_lower, how='left', left_index=True, right_index=True, suffixes=['', '_lower'])
# Now add all new columns and calculate the final_weight
df1 = pd.merge(df, weighted.reset_index(), how='left', on=['date', 'category', 'pctile_summary'], suffixes=['', '_sum'])
df1.ix[df1.pctile_summary=='lower', 'final_weight'] = 0
df1.ix[df1.pctile_summary.isnull(), 'final_weight'] = df1.weight
df1.ix[df1.pctile_summary=='upper', 'final_weight'] = (df1.weight / df1.weight_sum) * (df1.weight_sum + df1.weight_lower)
#finally tidy up (delete all that hardwork!)
df1 = df1.drop(['pctile_summary', 'weight_sum', 'weight_lower'], axis=1)
df1