Question

考虑一个不平衡的面板，其间隙是提供信息的（例如真零）。一世我想重新添加零。基本上，我试图在pandas中重新创建stata函数tsfill的功能。

示例数据（我构建了一个平衡的面板，并删除了一些观察结果）：

import numpy as np
import pandas as pd
import datetime

np.random.seed(123456)

all_dates = pd.DataFrame(pd.date_range(datetime.date(2015,1,1),datetime.date(2015,12,31)),columns=['date'])
balanced_data=all_dates.copy()
balanced_data['id']=0
for x in range(99):
    appendme=all_dates
    appendme['id']=x+1
    balanced_data=balanced_data.append(appendme)

balanced_data.reset_index(inplace=True,drop=True)
balanced_data['random']=np.random.random_sample(balanced_data.shape[0])>=0.5

# remove some data
unbalanced_data=balanced_data[balanced_data['random']==1].reset_index(drop=True)

使面板再次平衡的一种方法是将不平衡面板合并到具有平衡id和日期列的数据框：

# construct one full set of dates for everyone
all_dates = pd.DataFrame(pd.date_range(unbalanced_data['date'].min(),unbalanced_data['date'].max()),columns=['date'])

length = unbalanced_data['id'].unique().size
all_dates_full=all_dates
for x in range(length-1):
    all_dates_full=all_dates_full.append(all_dates)

all_dates_full.reset_index(inplace=True,drop=True)

# duplicate ids to match the number of dates 
length = all_dates.size
ids=unbalanced_data['id'].drop_duplicates()
ids_full=ids
for x in range(length-1):
    ids_full=ids_full.append(ids)

ids_full.sort_values(inplace=True)
ids_full.reset_index(inplace=True,drop=True)

balanced_panel = pd.concat([all_dates_full,ids_full],axis=1)

rebalanced_data=pd.merge(balanced_panel,unbalanced_data,how='left',on=['id','date'])
rebalanced_data.fillna(False,inplace=True)

# check
balanced_data==rebalanced_data

除了笨重之外，我发现随着N变大，这种方法非常缓慢。我认为必须是一种更有效的方法来重新平衡面板，但我找不到它。

（PS这是我关于stackoverflow的第一个问题，因此对未来问题的任何建设性批评都非常感谢！）

Answer 1

就性能而言，与附加列表相比，在pandas中附加数据帧是一个缓慢的操作。索引是不可变的，因此每次追加时都会创建一个新索引。这是一个在pandas之外构建集合然后将它们连接到数据帧的解决方案。

uid = unbalanced_data['id'].unique()
ids_full = np.array([[x]*len(all_dates) for x in range(len(uid))]).flatten()
dates = all_dates['date'].tolist() * len(uid)
balanced_panel = pd.DataFrame({'id': ids_full, 'date': dates})
rebalanced_data = pd.merge(balanced_panel, unbalanced_data, how=‌'left',
                           on=['id', 'dat‌e']).fillna(False)

使用Python Pandas填补面板数据的空白

1 个答案: