Question

我有一个大型面板数据框，其中包含多个日期的多个资产。问题是某些资产每天都没有价值，因此我希望当天的任何空白值都被该资产的最后一个可用值替换。

例如：

                       tradeDate   assetId  ticker    Sedol      price
0        2016-01-04 00:00:00.000      1786    3900  B17N9P6        1   
1        2016-01-04 00:00:00.000      2041    1898  B1JNK84        2   
2        2016-01-04 00:00:00.000      2981    CBMG  B9F9PM1        3   
3        2016-01-04 00:00:00.000      3547     MWA  B15RZR4        4   
4        2016-01-04 00:00:00.000      3570    TPLM  B065Y40        5   
5        2016-01-05 00:00:00.000      3995    MHGC  B0YRYS2        1   
6        2016-01-05 00:00:00.000      4110     DSW  B0BV2V6        2   
7        2016-01-05 00:00:00.000      4874     NWE  B03PGL4        3   
8        2016-01-05 00:00:00.000      4982    BOFI  B0637D4        4   
9        2016-01-05 00:00:00.000      5082   ISCTR  B03MYS8        5   
10       2016-01-05 00:00:00.000      5083   KCHOL  B03MVJ8        6

所以我需要做的是对tradeDate和assetIds进行索引，然后重新索引，以便为每个交易所创建新行，以便总是有相同数量的assetIds。这将创建具有NaN的行。我对这一步感到困惑，因为我不确定使用多个索引时的语法，以及当tradeDate和assetId列完全匹配时。

最后，我将不得不用最后一个可用值替换NaN。但是，我必须再次为tradeDate和assetId的两个索引执行此操作。感谢您对此的帮助

Answer 1

问题的第一部分由TomAugspurger巧妙地回答here。

基本上，您需要使用智能技巧，包括设置Multiindex，取消堆叠数据框，填充缺失值并再次堆叠。然后，您应该再次将填充的缺失值转换为NaN，并使用在.fillna()的pandas中实现的method='ffill'方法，以便将NaN替换为最后一个可用值。

首先，让我们生成我们需要的数据：

import pandas as pd
import numpy as np

data =  [['2016-01-04 00:00:00.000', 1786, '3900', 'B17N9P6', 1],
['2016-01-04 00:00:00.000', 2041, '1898', 'B1JNK84', 2],
['2016-01-04 00:00:00.000', 2981, 'CBMG', 'B9F9PM1', 3],
['2016-01-04 00:00:00.000', 3547, 'MWA', 'B15RZR4', 4],
['2016-01-04 00:00:00.000', 3570, 'TPLM', 'B065Y40', 5],
['2016-01-05 00:00:00.000', 3995, 'MHGC', 'B0YRYS2', 1],
['2016-01-05 00:00:00.000', 4110, 'DSW', 'B0BV2V6', 2],
['2016-01-05 00:00:00.000', 4874, 'NWE', 'B03PGL4', 3],
['2016-01-05 00:00:00.000', 4982, 'BOFI', 'B0637D4', 4],
['2016-01-05 00:00:00.000', 5082, 'ISCTR', 'B03MYS8', 5],
['2016-01-05 00:00:00.000', 5083, 'KCHOL', 'B03MVJ8', 6]]

cols  = ['tradeDate','assetId','ticker','Sedol','price']

然后解决问题：

df = pd.DataFrame.from_records(data, columns=cols)

# I used `-1` to fill the empty values, but use whatever value
# does not occur in the dataset
df = df.set_index(['tradeDate', 'assetId']).unstack().fillna(-1).stack()

# Once you have the data frame stacked again, you need to
# convert unknown values to np.nan again
df.replace(-1, np.nan, inplace=True)

# Fill with latest value for given assetId
df = df.groupby(level=['assetId']).fillna(method='ffill')

希望这个答案涵盖你的问题，让我们知道。

在Pandas中使用reindex在MultiIndex DataFrame上插入行

1 个答案: