考虑这个数据集:
data_dict = {'ind' : [1, 2, 3, 4], 'location' : [301, 301, 302, 303], 'ind_var' : [4, 8, 10, 15], 'loc_var' : [1, 1, 7, 3]}
df = pd.DataFrame(data_dict)
df_indexed = df.set_index(['ind', 'location'])
df_indexed
看起来像
ind_var loc_var
ind location
1 301 4 1
2 301 8 1
3 302 10 7
4 303 15 3
ind_var是一个变量,它由ind(=个体)变化,loc_var因位置而异。 (我还有一个额外的变量,因ind和位置而异,但我省略了它以简化演示)
我需要转换数据,让每个索引都包含所有可能的位置。 我可以用这种方式重新索引(只显示个人1到3):
new_shape = [(1, 301), (1, 302), (1, 303), (2, 301), (2, 302), (2, 303), (3, 301), (3, 302), (3, 303)]
idx = pd.Index(new_shape)
df2 = df_indexed.reindex(idx, method = None)
df2.index.names = ['id', 'location']
给出了
ind_var loc_var
id location
1 301 4 1
302 NaN NaN
303 NaN NaN
2 301 8 1
302 NaN NaN
303 NaN NaN
3 301 NaN NaN
302 10 7
303 NaN NaN
但我需要一种方法来填补缺失的值,以便我得到:
ind_var loc_var
id location
1 301 4 1
302 4 7
303 4 3
2 301 8 1
302 8 7
303 8 3
3 301 10 1
302 10 7
303 10 3
我尝试了两件不同的事情但没有成功:
1)使用loc_dict = {301:1,02:7,303:3}替换loc_var和ind_dict = {1:4,2:8,3:10,4:15}来替换ind_var < / p>
2)使用groupby方法。
# First reset index
df_non_indexed = df2.reset_index()
df_non_indexed['loc_var'] = df_non_indexed.groupby(['location'])['loc_var'].transform(lambda x: x.fillna(method='ffill'))
这几乎可行,但只有前进(或后退)
必须有一种非常简单的方法,但我无法弄明白! 谢谢你的时间。
注意:这与我的问题reshaping from wide to long有关。我采取了不同的方法并简化,希望这个更容易理解。
答案 0 :(得分:2)
比我原来的更清洁的解决方案。谢谢@ cd98
In [41]: loc_dict = {301 : 1, 302 : 7, 303 : 3}
In [42]: ind_dict = {1 : 4, 2: 8, 3: 10}
In [198]: df2 = df2.reset_index()
In [199]: df2
Out[199]:
index id location ind_var loc_var
0 0 1 301 4 1
1 1 1 302 NaN NaN
2 2 1 303 NaN NaN
3 3 2 301 8 1
4 4 2 302 NaN NaN
5 5 2 303 NaN NaN
6 6 3 301 NaN NaN
7 7 3 302 10 7
8 8 3 303 NaN NaN
In [200]: df2['ind_var'] = df2.id.map(ind_dict)
In [201]: df2['loc_var'] = df2.location.map(loc_dict)
In [202]: df2
Out[202]:
index id location ind_var loc_var
0 0 1 301 4 1
1 1 1 302 4 7
2 2 1 303 4 3
3 3 2 301 8 1
4 4 2 302 8 7
5 5 2 303 8 3
6 6 3 301 10 1
7 7 3 302 10 7
8 8 3 303 10 3
In [203]: df2 = df2.set_index(['id', 'location'])
In [204]: df2
Out[204]:
index ind_var loc_var
id location
1 301 0 4 1
302 1 4 7
303 2 4 3
2 301 3 8 1
302 4 8 7
303 5 8 3
3 301 6 10 1
302 7 10 7
303 8 10 3
答案 1 :(得分:2)
这可以通过stack/unstack
和groupby
轻松完成:
# unstack to wide, fillna as 0s
df_wide = df_indexed.unstack().fillna(0)
# stack back to long
df_long = df_wide.stack()
# change 0s to max using groupby.
df_long['ind_var'] = df_long['ind_var'].groupby(level = 0).transform(lambda x: x.max())
df_long['loc_var'] = df_long['loc_var'].groupby(level = 1).transform(lambda x: x.max())
print df_long
这会给你结果:
ind_var loc_var
ind location
1 301 4 1
302 4 7
303 4 3
2 301 8 1
302 8 7
303 8 3
3 301 10 1
302 10 7
303 10 3
4 301 15 1
302 15 7
303 15 3