从CSV创建嵌套JSON

时间:2013-06-11 11:42:46

标签: python json csv converter

我已阅读Create nested JSON from flat csv,但在我的案例中没有用。

我有一个很大的电子表格,使用包含11行和74列的Google文档创建(某些列未被占用)。

我在Google Drive上创建了一个示例。导出为CSV时,它看起来像这样:

id,name,email,phone,picture01,picture02,picture03,status
1,Alice,alice@gmail.com,2131232,"image01_01
[this is an image]",image01_02,image01_03,single
2,Bob,bob@gmail.com,2854839,image02_01,"image02_02
[description to image 2]",,married
3,Frank,frank@gmail.com,987987,image03_01,image03_02,,single
4,Shawn,shawn@gmail.com,,image04_01,,,single

现在我希望有一个JSON结构,如下所示:

{
    "persons": [
        {
            "type": "config.profile",
            "id": "1",
            "email": "alice@gmail.com",
            "pictureId": "p01",
            "statusId": "s01"
        },
        {
            "type": "config.pictures",
            "id": "p01",
            "album": [
                {
                    "image": "image01_01",
                    "description": "this is an image"
                },
                {
                    "image": "image_01_02",
                    "description": ""
                },
                {
                    "image": "image_01_03",
                    "description": ""
                }
            ]
        },
        {
            "type": "config.status",
            "id": "s01",
            "status": "single"
        },
        {
            "type": "config.profile",
            "id": "2",
            "email": "bob@gmail.com",
            "pictureId": "p02",
            "statusId": "s02"
        },
        {
            "type": "config.pictures",
            "id": "p02",
            "album": [
                {
                    "image": "image02_01",
                    "description": ""
                },
                {
                    "image": "image_02_02",
                    "description": "description to image 2"
                }
            ]
        },
        {
            "type": "config.status",
            "id": "s02",
            "status": "married"
        }
    ]
}

等等其他部分。

我的理论方法是每行遍历CSV文件(这里开始第一个问题:现在每行等于一行,但有时几行,因此我需要计算逗号?)。每行等于config.profile的一个块,包括idemailpictureIdstatusId(后两个是根据行号)。

然后,对于每一行,生成config.pictures块,其id块与插入config.profile块的album块相同。 config.status是一个包含图片的元素数组。

最后,每一行都有一个id块,该config.profile块与status中给出的CSV块具有相同的JSON,并且CSV的一个条目具有相应的type块状态。

我完全不知道如何创建嵌套和条件JSON文件。

我刚刚到了将pictureId转换为有效statusId的点,没有任何嵌套和其他信息,这些信息并未在ruby中直接给出,如{{{1}} 1}},{{1}},{{1}}等等。

感谢任何帮助。如果用其他脚本语言(如{{1}})更容易编程,我很乐意切换到那些。)

在有人认为这是家庭作业或诸如此类的东西之前。它不是。我只想自动完成一个非常无聊的复制和粘贴任务。

1 个答案:

答案 0 :(得分:7)

csv模块可以很好地处理CSV读取 - 包括处理引号内的换行符。

import csv
with open('my_csv.csv') as csv_file:
   for row in csv.reader(csv_file):
       # do work

csv.reader对象是一个迭代器 - 您可以使用for循环遍历CSV中的行。每行都是一个列表,因此您可以将每个字段设为row[0]row[1]等。请注意,这将加载第一行(在您的情况下只包含字段名称)。

由于我们在第一行中提供了字段名称,因此我们可以使用csv.DictReader,以便每行中的字段可以作为row['id']row['name']等进行访问。也为我们跳过第一行:

import csv
with open('my_csv.csv') as csv_file:
   for row in csv.DictReader(csv_file):
       # do work

对于JSON导出,请使用json模块。 json.dumps()将采用Python数据结构(如列表和字典)并返回相应的JSON字符串:

import json
my_data = {'id': 123, 'name': 'Test User', 'emails': ['test@example.com', 'test@hotmail.com']}
my_data_json = json.dumps(my_data)

如果要完全按照发布的方式生成JSON输出,可以执行以下操作:

output = {'persons': []}
with open('my_csv.csv') as csv_file:
    for person in csv.DictReader(csv_file):
        output['persons'].append({
            'type': 'config.profile',
            'id': person['id'],
            # ...add other fields (email etc) here...
        })

        # ...do similar for config.pictures, config.status, etc...

output_json = json.dumps(output)

output_json将包含您想要的JSON输出。

但是,我建议你仔细考虑你所追求的JSON输出的结构 - 目前,你正在定义一个没有用处的外部字典,你要添加所有'{{ 1}}'直接在'config'下的数据 - 您可能想重新考虑这一点。