我有长格式的数据,我正在尝试重塑到宽,但似乎没有一种直接的方法来使用melt / stack / unstack来做到这一点:
Salesman Height product price
Knut 6 bat 5
Knut 6 ball 1
Knut 6 wand 3
Steve 5 pen 2
变为:
Salesman Height product_1 price_1 product_2 price_2 product_3 price_3
Knut 6 bat 5 ball 1 wand 3
Steve 5 pen 2 NA NA NA NA
我认为Stata可以使用reshape命令执行类似的操作。
答案 0 :(得分:31)
一个简单的支点可能足以满足您的需求,但这是我为重现您想要的输出所做的:
df['idx'] = df.groupby('Salesman').cumcount()
只需添加一个组内计数器/索引就可以获得大部分路径,但列标签将不符合您的要求:
print df.pivot(index='Salesman',columns='idx')[['product','price']]
product price
idx 0 1 2 0 1 2
Salesman
Knut bat ball wand 5 1 3
Steve pen NaN NaN 2 NaN NaN
为了更接近您想要的输出,我添加了以下内容:
df['prod_idx'] = 'product_' + df.idx.astype(str)
df['prc_idx'] = 'price_' + df.idx.astype(str)
product = df.pivot(index='Salesman',columns='prod_idx',values='product')
prc = df.pivot(index='Salesman',columns='prc_idx',values='price')
reshape = pd.concat([product,prc],axis=1)
reshape['Height'] = df.set_index('Salesman')['Height'].drop_duplicates()
print reshape
product_0 product_1 product_2 price_0 price_1 price_2 Height
Salesman
Knut bat ball wand 5 1 3 6
Steve pen NaN NaN 2 NaN NaN 5
编辑:如果你想把程序推广到更多的变量,我想你可以做类似下面的事情(尽管它可能不够有效):
df['idx'] = df.groupby('Salesman').cumcount()
tmp = []
for var in ['product','price']:
df['tmp_idx'] = var + '_' + df.idx.astype(str)
tmp.append(df.pivot(index='Salesman',columns='tmp_idx',values=var))
reshape = pd.concat(tmp,axis=1)
@Luke说:我认为Stata可以使用reshape命令执行类似的操作。
你可以,但我认为你还需要一个内部计数器来获得stata的重塑以获得你想要的输出:
+-------------------------------------------+
| salesman idx height product price |
|-------------------------------------------|
1. | Knut 0 6 bat 5 |
2. | Knut 1 6 ball 1 |
3. | Knut 2 6 wand 3 |
4. | Steve 0 5 pen 2 |
+-------------------------------------------+
如果你添加idx
,那么你可以在stata
中重塑:
reshape wide product price, i(salesman) j(idx)
答案 1 :(得分:16)
有点旧,但我会发给别人的。
你想要的是什么,但你可能不应该想要它;) Pandas支持行和列的层次索引。 在Python 2.7.x中......
from StringIO import StringIO
raw = '''Salesman Height product price
Knut 6 bat 5
Knut 6 ball 1
Knut 6 wand 3
Steve 5 pen 2'''
dff = pd.read_csv(StringIO(raw), sep='\s+')
print dff.set_index(['Salesman', 'Height', 'product']).unstack('product')
生成可能比您正在寻找的更方便的表示
price
product ball bat pen wand
Salesman Height
Knut 6 1 5 NaN 3
Steve 5 NaN NaN 2 NaN
使用set_index和unstacking与单个函数作为pivot的优点是,您可以将操作分解为明确的小步骤,从而简化调试。
答案 2 :(得分:9)
pivoted = df.pivot('salesman', 'product', 'price')
PG。 192 Python for Data Analysis
答案 3 :(得分:8)
这是另一个更加充实的解决方案,取自Chris Albon's site。
raw_data = {'patient': [1, 1, 1, 2, 2],
'obs': [1, 2, 3, 1, 2],
'treatment': [0, 1, 0, 1, 0],
'score': [6252, 24243, 2345, 2342, 23525]}
df = pd.DataFrame(raw_data, columns = ['patient', 'obs', 'treatment', 'score'])
df.pivot(index='patient', columns='obs', values='score')
答案 4 :(得分:2)
Karl D的解决方案成为问题的核心。但是我发现,将所有内容(由于有两个索引列,而使用.pivot_table
进行透视,然后将sort
并分配以折叠MultiIndex
的列,要容易得多:
df['idx'] = df.groupby('Salesman').cumcount()+1
df = df.pivot_table(index=['Salesman', 'Height'], columns='idx',
values=['product', 'price'], aggfunc='first')
df = df.sort_index(axis=1, level=1)
df.columns = [f'{x}_{y}' for x,y in df.columns]
df = df.reset_index()
Salesman Height price_1 product_1 price_2 product_2 price_3 product_3
0 Knut 6 5.0 bat 1.0 ball 3.0 wand
1 Steve 5 2.0 pen NaN NaN NaN NaN
答案 5 :(得分:-4)
重塑文档是here
您正在寻找pd.wide_to_long()
(这是stata命令的直接模拟)