我有一个DataFrame，其中包含一个列，其中每个单元格都由一个dicts列表组成，每个dicts列表的长度各不相同（包括0）。
一个例子：
df = pd.DataFrame({'ID' : [13423,294847,322844,429847], 'RANKS': [[{u'name': u'A', u'price': u'$1.00', u'rank': u'1'},
{u'name': u'B', u'price': u'$4.00', u'rank': u'2'},
{u'name': u'C', u'price': u'$3.99', u'rank': u'3'},
{u'name': u'D', u'price': u'$2.00', u'rank': u'4'},
{u'name': u'E', u'price': u'$2.50', u'rank': u'5'}],
[{u'name': u'AA', u'price': u'$1.99', u'rank': u'1'},
{u'name': u'BB', u'price': u'$6.99', u'rank': u'2'}],
[{u'name': u'Z', u'price': u'$0.99', u'rank': u'1'},
{u'name': u'Y', u'price': u'$10.00', u'rank': u'2'},
{u'name': u'X', u'price': u'$1.99', u'rank': u'3'}],[]], 'count' : [5,2,3,0]})
请注意，'count'是'RANKS'中的dicts数。我想到的目标是创建一系列额外的数据帧/表（每个'rank'一个）并将它们链接到HDFStore中的主表。类似的东西：
Rank_2
ID Price Name
13423 $4.00 B
294847 $6.99 BB
322844 $10.99 Y
429847 NaN NaN
Rank_3
ID Price Name
13423 $3.99 C
294847 NaN NaN
322844 $1.99 X
429847 NaN NaN
这样我可以根据需要轻松查询ID和排名，但主表不会因为这个分层数据的展开而变得杂乱无章。
然而，问题是我无法弄清楚如何从此列创建DataFrame。我已经尝试了很多东西，第一个（如果有效的话，嵌套在for循环中，但当然没有）：
Rank_1 = pd.DataFrame(df.loc[df['count'] > 0]['RANKS'].map(lambda x: pd.DataFrame(x[0])))
而且，第二，因为价格对我来说是最重要的部分：
for i in range(0,5):
df['rank_%s' % str(i+1)] = df[df['count'] > i]['RANKS'].map(lambda x: x[i]['price'].strip('$'))
然后转换为float。这有效，但是是一个非常大的妥协。有没有一种有效的方法（不会挂在NaN上）来实现每个级别的单独DataFrames的目标？
答案 0 :(得分：2)
我的直觉反应是你可能不应该将你的DataFrame拆分成 许多较小的DataFrame。处理大量小型DataFrame需要Python 循环通常是沿着缓慢路径迈出的一步。相反，我想你 可能会更好地使用一个DataFrame，这样可以平滑dicts列表 每个内部字典在DataFrame中都有自己的行。的钥匙 内部词典将成为新的列。我怀疑这个单平面DataFrame格式 将能够做多个DataFrame替代方案可以做的任何事情 更快，它可以简单地保存到HDFStore。
假设您在RANKS列中有一个包含dicts列表的DataFrame：
import numpy as np
import pandas as pd
df = pd.DataFrame({'ID' : [13423,294847,322844,429847], 'RANKS': [[{u'name': u'A', u'price': u'$1.00', u'rank': u'1'},
{u'name': u'B', u'price': u'$4.00', u'rank': u'2'},
{u'name': u'C', u'price': u'$3.99', u'rank': u'3'},
{u'name': u'D', u'price': u'$2.00', u'rank': u'4'},
{u'name': u'E', u'price': u'$2.50', u'rank': u'5'}],
[{u'name': u'AA', u'price': u'$1.99', u'rank': u'1'},
{u'name': u'BB', u'price': u'$6.99', u'rank': u'2'}],
[{u'name': u'Z', u'price': u'$0.99', u'rank': u'1'},
{u'name': u'Y', u'price': u'$10.00', u'rank': u'2'},
{u'name': u'X', u'price': u'$1.99', u'rank': u'3'}],[]], 'count' : [5,2,3,0]})
然后你可以构建一个平面的DataFrame，每行有一个dict，如下所示：
result = []
for idx, row in df.iterrows():
for dct in row['RANKS']:
dct['ID'] = row['ID']
dct['count'] = row['count']
result.append(dct)
del df
result = pd.DataFrame(result)
result['rank'] = result['rank'].astype(np.int32)
result['price'] = result['price'].str.replace('$', '')
result['price'] = result['price'].astype('float')
print(result)
产生
ID count name price rank
0 13423 5 A 1.00 1
1 13423 5 B 4.00 2
2 13423 5 C 3.99 3
3 13423 5 D 2.00 4
4 13423 5 E 2.50 5
5 294847 2 AA 1.99 1
6 294847 2 BB 6.99 2
7 322844 3 Z 0.99 1
8 322844 3 Y 10.00 2
9 322844 3 X 1.99 3
请注意，直接从原始数据源构建result（因此完全避免df）将是一个更清晰，内存要求更低的解决方案。
答案 1 :(得分：1)
在Pandas版本0.25.0中，有df.explode种用于列表爆炸的方法和一些用于dict爆炸的小代码。
如果您的数据框是：
import numpy as np
import pandas as pd
df = pd.DataFrame({'ID' : [13423,294847,322844,429847], 'RANKS': [[{u'name': u'A', u'price': u'$1.00', u'rank': u'1'},
{u'name': u'B', u'price': u'$4.00', u'rank': u'2'},
{u'name': u'C', u'price': u'$3.99', u'rank': u'3'},
{u'name': u'D', u'price': u'$2.00', u'rank': u'4'},
{u'name': u'E', u'price': u'$2.50', u'rank': u'5'}],
[{u'name': u'AA', u'price': u'$1.99', u'rank': u'1'},
{u'name': u'BB', u'price': u'$6.99', u'rank': u'2'}],
[{u'name': u'Z', u'price': u'$0.99', u'rank': u'1'},
{u'name': u'Y', u'price': u'$10.00', u'rank': u'2'},
{u'name': u'X', u'price': u'$1.99', u'rank': u'3'}],[]], 'count' : [5,2,3,0]})
然后爆炸列表，您可以执行以下操作：
df = df.explode('RANKS')
给你
ID RANKS count
0 13423 {'name': 'A', 'price': '$1.00', 'rank': '1'} 5
0 13423 {'name': 'B', 'price': '$4.00', 'rank': '2'} 5
0 13423 {'name': 'C', 'price': '$3.99', 'rank': '3'} 5
0 13423 {'name': 'D', 'price': '$2.00', 'rank': '4'} 5
0 13423 {'name': 'E', 'price': '$2.50', 'rank': '5'} 5
1 294847 {'name': 'AA', 'price': '$1.99', 'rank': '1'} 2
1 294847 {'name': 'BB', 'price': '$6.99', 'rank': '2'} 2
2 322844 {'name': 'Z', 'price': '$0.99', 'rank': '1'} 3
2 322844 {'name': 'Y', 'price': '$10.00', 'rank': '2'} 3
2 322844 {'name': 'X', 'price': '$1.99', 'rank': '3'} 3
3 429847 NaN 0
要分解这些字典并将其扩展为列，可以执行以下操作：
df.reset_index(drop=True, inplace=True)
# Replace NaN by empty dict
def replace_nans_with_dict(series):
for idx in series[series.isnull()].index:
series.at[idx] = {}
return series
# Explodes list and dicts
def df_explosion(df, col_name:str):
if df[col_name].isna().any():
df[col_name] = replace_nans_with_dict(df[col_name])
df.reset_index(drop=True, inplace=True)
df1 = pd.DataFrame(df.loc[:,col_name].values.tolist())
df = pd.concat([df,df1], axis=1)
df.drop([col_name], axis=1, inplace=True)
return df
运行
df = df_explosion(df, 'RANKS')
您将拥有：
ID count name price rank
0 13423 5 A $1.00 1
1 13423 5 B $4.00 2
2 13423 5 C $3.99 3
3 13423 5 D $2.00 4
4 13423 5 E $2.50 5
5 294847 2 AA $1.99 1
6 294847 2 BB $6.99 2
7 322844 3 Z $0.99 1
8 322844 3 Y $10.00 2
9 322844 3 X $1.99 3
10 429847 0 NaN NaN NaN
答案 2 :(得分：0)
我刚刚遇到了类似的情况，这就是我最终如何解决它的问题：
<style>
div.menuopener{
display: block;
}
ul.submenu {
/*display: none; USE THIS IN STEAD TO LOOK LIKE YOUR EXAMPLE*/
/* All of this is to make it look nice, and is not needed: */
max-height: 0;
overflow: hidden;
-webkit-transition: max-height 0.8s;
-moz-transition: max-height 0.8s;
transition: max-height 0.8s;
}
/*Here we select all elements of class menuopener when it is hovered, and then
select the sub element ul of class submenu and apply styles to it */
.menuopener:hover ul.submenu{
/*display: block; USE THIS IN STEAD TO LOOK LIKE YOUR EXAMPLE*/
/* max-height is just for the transition, and not needed*/
max-height: 200px;
}
</style>
<div class="menuopener">
<p>Menu 1</p>
<ul class="submenu" >
<li><a href="#">item 1:1</a></li>
<li><a href="#">item 1:2</a></li>
<li><a href="#">item 1:3</a></li>
<li><a href="#">item 1:4</a></li>
</ul>
</div>
<div class="menuopener">
<p>Menu 2</p>
<ul class="submenu">
<li><a href="#">item 2:1</a></li>
<li><a href="#">item 2:2</a></li>
<li><a href="#">item 2:3</a></li>
<li><a href="#">item 2:4</a></li>
</ul>
</div>
<div class="menuopener">
<p>Menu 3</p>
<ul class="submenu">
<li><a href="#">item 3:1</a></li>
<li><a href="#">item 3:2</a></li>
<li><a href="#">item 3:3</a></li>
<li><a href="#">item 3:4</a></li>
</ul>
</div>
<div class="menuopener">
<p>Menu 4</p>
<ul class="submenu">
<li><a href="#">item 4:1</a></li>
<li><a href="#">item 4:2</a></li>
<li><a href="#">item 4:3</a></li>
<li><a href="#">item 4:4</a></li>
</ul>
</div>分解数据框如下所示：
In [1]: import pandas as pd
In [2]: df = pd.DataFrame({
...: 'ID' : [13423,294847,322844,429847],
...: 'RANKS': [[{u'name': u'A', u'price': u'$1.00', u'rank': u'1'},
...: {u'name': u'B', u'price': u'$4.00', u'rank': u'2'},
...: {u'name': u'C', u'price': u'$3.99', u'rank': u'3'},
...: {u'name': u'D', u'price': u'$2.00', u'rank': u'4'},
...: {u'name': u'E', u'price': u'$2.50', u'rank': u'5'}],
...:
...: [{u'name': u'AA', u'price': u'$1.99', u'rank': u'1'},
...: {u'name': u'BB', u'price': u'$6.99', u'rank': u'2'}],
...:
...: [{u'name': u'Z', u'price': u'$0.99', u'rank': u'1'},
...: {u'name': u'Y', u'price': u'$10.00', u'rank': u'2'},
...: {u'name': u'X', u'price': u'$1.99', u'rank': u'3'}],[]]})
In [3]: import itertools
In [4]: temp_df = pd.DataFrame(
...: list(itertools.chain(*[zip([key]*len(val), val)
...: for key, val in df.RANKS.iteritems()])),
...: columns=['idx', 'explode'])
In [5]: exploded = pd.merge(
...: df.drop('RANKS', axis=1),
...: temp_df.explode.apply(pd.Series).join(temp_df.idx),
...: left_index=True,
...: right_on='idx',
...: how='left').drop('idx', axis=1)