Pandas - 聚合分组数据,满足某些标准

时间:2012-06-21 04:48:01

标签: python pandas

我想通过汇总该投资组合的个别股票持有量的时间序列估值数据来创建股票投资组合估值的时间序列。我遇到的问题是,在某些日期可能没有给定股票持有的估值,因此在该日期汇总会产生错误的结果。

我提出的解决方案是排除给定持有的估价(实际价格)数据不存在的日期,然后在我有完整数据的这些日期汇总。我使用的程序如下:

# Get the individual holding valuation data
valuation = get_valuation(portfolio = portfolio, df = True)

# Then next few lines retrieve the dates for which I have complete price data for the
# assets that comprise this portflio
# First get a list of the assets that this portfolio contains (or has contained).
unique_assets = valuation['asset'].unique().tolist()

# Then I get the price data for these assets
ats = get_ats(assets = unique_assets, df = True )[['data_date','close_price']]

# I mark those dates for which I have a 'close_price' for each asset:
ats = ats.groupby('data_date')['close_price'].agg({'data_complete':lambda x: len(x) == len(unique_assets)} ).reset_index()

# And extract the corresponding valid dates.
valid_dates = ats['data_date'][ats['data_complete']]

# Filter the valuation data for those dates for which I have complete data:
valuation = valuation[valuation['data_date'].apply(lambda x: x in valid_dates.values)]

# Group by date, and sum the individual hodling valuations by date, to get the Portfolio valuation
portfolio_valuation = valuation[['data_date','valuation']].groupby('data_date').agg(lambda df: sum(df['valuation'])).reset_index()

我的问题有两个:

1)上述方法感觉非常复杂,我相信Pandas有更好的方法来实现我的解决方案。有什么建议吗?

2)我使用的方法并不理想。最好的方法是,对于那些我们没有估值数据的日期(对于给定的持股),我们应该使用该持股的最新估值。因此,假设我在2012年6月21日计算投资组合的估值,并且在该日期拥有GOOG的估值数据,但仅在2012年6月20日对APPL进行估值。那么2012年6月21日投资组合的估值仍应为总和。这两项估值。在熊猫中有没有一种有效的方法呢?我想避免必须遍历数据。

1 个答案:

答案 0 :(得分:0)

看起来resample和/或fillna的某种组合会让你得到你正在寻找的东西(意识到这有点晚了!)。

就像你正在做的那样抓住你的数据。你可以通过一些差距找回这些东西。看看这个:

import pandas as pd
import numpy as np

dates = pd.DatetimeIndex(start='2012-01-01', periods=10, freq='2D')
df = pd.DataFrame(np.random.randn(20).reshape(10,2),index=dates)

所以现在你有这个数据有很多空白 - 但你想拥有这个每日分辨率数据。

只是做:

df.resample('1D')

这会在您的数据框中填入一堆缺少数据的NaN。然后当你对它们进行聚合时,只需使用忽略NaN的函数(例如,np.nansum,np.mean)!

对于您所获得的数据的确切格式仍然有点不清楚。希望它有所帮助。