Question

我有一个用例，我需要将数据帧的现有列转换为JSON并仅存储在一列上。

到目前为止，我试过这个：

import pandas as pd
import json
df=pd.DataFrame([{'a':'sjdfb','b':'jsfubs'},{'a':'ouhbsdv','b':'cm osdn'}]) #Random data
jsonresult1=df.to_json(orient='records')
# '[{"a":"sjdfb","b":"jsfubs"},{"a":"ouhbsdv","b":"cm osdn"}]'

但我希望数据只是字典的字符串表示而不是列表。所以我尝试了这个：

>>>jsonresult2=df.to_dict(orient='records')
>>>jsonresult2
# [{'a': 'sjdfb', 'b': 'jsfubs'}, {'a': 'ouhbsdv', 'b': 'cm osdn'}]

这就是我想要数据的样子，但当我尝试将其作为数据帧时，数据帧再次采用2列[a，b]的格式。这些字典对象的字符串表示形式将以所需格式将列数据插入数据帧。

>>>for i in range(len(jsonresult2)):
...    jsonresult3.append(str(jsonresult2[i]))
...
>>> jsonresult3
["{'a': 'sjdfb', 'b': 'jsfubs'}", "{'a': 'ouhbsdv', 'b': 'cm osdn'}"]

这正是我想要的。当我将其推送到数据帧时，我得到：

 >>> df1
                              0
 ++++++++++++++++++++++++++++++++++++
 0  |   {'a': 'sjdfb', 'b': 'jsfubs'}
 1  |{'a': 'ouhbsdv', 'b': 'cm osdn'}

但我觉得这是一种非常低效的方式。如何以优化的方式使其外观和工作？我的数据可以超过10M行。这花了太长时间。

Answer 1

我首先转换为字典...制作成一个系列...然后应用pd.json.dumps

pd.Series(df.to_dict('records'), df.index).apply(pd.json.dumps)

0       {"a":"sjdfb","b":"jsfubs"}
1    {"a":"ouhbsdv","b":"cm osdn"}
dtype: object

或更短的代码

df.apply(pd.json.dumps, 1)

0       {"a":"sjdfb","b":"jsfubs"}
1    {"a":"ouhbsdv","b":"cm osdn"}
dtype: object

我们可以通过自己构建字符串来提高性能

v = df.values.tolist()
c = df.columns.values.tolist()

pd.Series([str(dict(zip(c, row))) for row in v], df.index)

0       {'a': 'sjdfb', 'b': 'jsfubs'}
1    {'a': 'ouhbsdv', 'b': 'cm osdn'}
dtype: object

如果内存存在问题，我会将df保存到csv并逐行读取，并在此过程中构建新的系列或数据框。

df.to_csv('test.csv')

速度较慢，但可以解决一些内存问题。

s = pd.Series()
with open('test.csv') as f:
    c = f.readline().strip().split(',')[1:]
    for row in f:
        row = row.strip().split(',')
        s.set_value(row[0], str(dict(zip(c, row[1:]))))

或者，如果您可以将df保留在内存中，则可以跳过文件导出

s = pd.Series()
c = df.columns.values.tolist()
for t in df.itertuples():
    s.set_value(t.Index, str(dict(zip(c, t[1:]))))

Answer 2

l = [{'a':'sjdfb','b':'jsfubs'},{'a':'ouhbsdv','b':'cm osdn'}]

#convert json elements to strings and then load to df.
pd.DataFrame([str(e) for e in l])
Out[949]: 
                                  0
0     {'a': 'sjdfb', 'b': 'jsfubs'}
1  {'a': 'ouhbsdv', 'b': 'cm osdn'}

<强>计时

%timeit pd.DataFrame([str(e) for e in l])
10000 loops, best of 3: 159 µs per loop

%timeit pd.Series(df.to_dict('records'), df.index).apply(pd.json.dumps)
1000 loops, best of 3: 254 µs per loop

在Pandas Dataframe中插入字典（JSON）

2 个答案: