将一个巨大的JSON TextEdit文件转换为Pandas数据帧

时间:2016-02-02 21:33:27

标签: python json pandas dataframe textedit

我有一个非常大的JSON文件列表,其格式为TextEdit文档,每个文档都有6个键值对。

我想将每个键值对转换为Pandas Dataframe的列名,并列出列下的值。

{'column1': "stuff stuff", 'column2': "details details, ....}

有没有一种标准方法可以做到这一点?

我认为您可以开始使用

将文件上传到数据框中
import pandas as pd
df = pd.read_table(file_name)

我认为可以通过使用groupby遍历每个JSON文档来创建每个列。

编辑:我认为正确的方法是将每个JSON对象解析为Dataframe,然后创建一个函数来迭代所有JSON并创建一个Dataframe。

1 个答案:

答案 0 :(得分:0)

查看read_jsonjson_normalize。您确实很可能会阅读每个文件,然后使用例如pd.concat根据需要组合它们。

以下行中的某些内容应该有效,具体取决于文件的外观(此处假设每个json dictionary在文件中构成一行:

df = pd.DataFrame()
f = open('workfile', 'r')
for line in f:
    df = pd.concat([df, pd.read_json(line, orient='columns')])