我正在努力解决一个有点简单的任务,但目前尚不清楚如何在熊猫中实现它。
所以我有一个pandas数据框,其中包含一组我感兴趣的列。列集存储在factors
列表中:
#get df
df = pd.read_sql(sql=sqlString, con = engine)
#shuffle
df = df.sample(frac=1, random_state=123).reset_index(drop=True)
#list of fields we want
factors = ['GRP_RANK', 'BK_YIELD', 'SALES_YIELD', 'EARNINGS_YIELD_LTM', 'CASHFLOW_YIELD', 'ROE', 'ROIC',
'ROA', 'GROSS_MGN', '12MVT', '1MVT', 'BETA_3Y', 'BETA_1Y', 'P_TOTAL_RETURN(-1,0,USD)']
现在,数据框中有列DATE
。对于每个记录的factors
,我想将因子值除以特定日期的因子值的平均值。
我设法每天获得每个因素的平均值:
dfGroup = df[factors + ["DATE"]].groupby('DATE')[factors].mean()
但我不知道该怎么办。我想到的唯一一件事就是通过DATE字段左边加入df
和dfGroup
然后按列分区进行一些ugle列来获得新的大数据帧,但也许有一种方法可以更容易地做到这一点?
答案 0 :(得分:2)
让我们看一下groupby
使用transform
和div
{/ 1}}:
MVCE:
df = pd.DataFrame({'Date':pd.date_range('2018-02-10','2018-02-12',freq='H'),'A':np.random.randint(0,100,49),'B':np.random.randint(100,200,49),'C':np.random.random(49)})
df = df.set_index('Date')
print(df.head())
输出:
A B C
Date
2018-02-10 00:00:00 11 131 0.474226
2018-02-10 01:00:00 35 188 0.998742
2018-02-10 02:00:00 97 182 0.683685
2018-02-10 03:00:00 0 134 0.845094
2018-02-10 04:00:00 24 173 0.238379
使用groupby,transfrom和div:
df[['A','B','C']].div(df.groupby(df.index.floor('D')).transform('mean'))
输出头():
A B C
Date
2018-02-10 00:00:00 0.362637 0.866593 0.931739
2018-02-10 01:00:00 1.153846 1.243660 1.962284
2018-02-10 02:00:00 3.197802 1.203969 1.343275
2018-02-10 03:00:00 0.000000 0.886439 1.660404
2018-02-10 04:00:00 0.791209 1.144432 0.468357