将pandas中的字典条目解压缩到dataframe中

Question

我有一个数据框，其中一列中有一个字典

import pandas as pd
import numpy as np

def generate_dict():
    return {'var1': np.random.rand(), 'var2': np.random.rand()}

data = {}
data[0] = {}
data[1] = {}
data[0]['A'] = generate_dict()
data[1]['A'] = generate_dict()

df = pd.DataFrame.from_dict(data, orient='index')

我想将字典中的键/值对解压缩到一个新的数据框中，其中每个条目都有自己的行。我可以通过迭代行并附加到新的DataFrame来实现这一点：

def expand_row(row):
    df_t = pd.DataFrame.from_dict({'value': row.A})
    df_t.index.rename('row', inplace=True)
    df_t.reset_index(inplace=True)
    df_t['column'] = 'A'
    return df_t

df_expanded = pd.DataFrame([])
for _, row in df.iterrows():
    T = expand_row(row)
    df_expanded = df_expanded.append(T, ignore_index=True)

这很慢，我的应用程序性能至关重要。我认为df.apply可以做到这一点。但是，当我的函数返回一个DataFrame而不是一个系列时，只需执行

df_expanded = df.apply(expand_row)

不起作用。最有效的方法是什么？

提前致谢。

Answer 1

您可以使用嵌套列表推导，然后将列0替换为常量A（列名称）：

d = df.A.to_dict()

df1 = pd.DataFrame([(key,key1,val1) for key,val in d.items() for key1,val1 in val.items()])
df1[0] = 'A'
df1.columns = ['columns','row','value']
print (df1)
  columns   row     value
0       A  var1  0.013872
1       A  var2  0.192230
2       A  var1  0.176413
3       A  var2  0.253600

另一种解决方案：

df1 = pd.DataFrame.from_records(df.A.values.tolist()).stack().reset_index()
df1['level_0'] = 'A'
df1.columns = ['columns','row','value']
print (df1)
  columns   row     value
0       A  var1  0.332594
1       A  var2  0.118967
2       A  var1  0.374482
3       A  var2  0.263910