Question

我正在尝试将嵌套的dict数据结构转换为列表的平面列表，但我无法找到一个好的解决方案。这是我开始的数据，以及我想要生成的输出。我想要做的是提出一个flatten函数，无论嵌套输入数据有多深，它都能正常工作。

input_dict_1 = {"data": [
    {"gender": "male",
     "data": [
         {"age": "adult",
          "data": {"average_height": 62, "average_weight": 200}},
         {"age": "youth",
          "data": {"average_height": 50, "average_weight": 120}}]},
    {"gender": "female",
     "data": [
         {"age": "adult",
          "data": {"average_height": 55, "average_weight": 130}},
         {"age": "youth",
          "data": {"average_height": 45, "average_weight": 80}},
         {"age": "infant",
          "data": {"average_height": 15, "average_weight": 35}}]}]}

output_array_1 = flatten(input_dict_1)

# output_array_1 = [["gender", "age", "average_height", "average_weight"],
#                   ["male", "adult", 62, 200],
#                   ["male", "youth", 50, 120],
#                   ["female", "adult", 55, 130],
#                   ["female", "youth", 45, 80],
#                   ["female", "infant", 15, 35]]

input_dict_2 = {"data": [
    {"animal": "bunny",
     "data": [
         {"color": "white",
          "data": [
              {"age": "adult",
               "data": {"speed": 30, "teeth": 24}},
              {"age": "youth",
               "data": {"speed": 20, "teeth": 24}}]}]},
    {"animal": "horse",
     "data": [
         {"color": "brown",
          "data": [
              {"age": "adult",
               "data": {"speed": 120, "teeth": 6}}]}]}]}

output_array_2 = flatten(input_dict_2)

# output_array_1 = [["animal", "color", "age", "speed", "teeth"],
#                   ["bunny", "white", "adult", 30, 24],
#                   ["bunny", "white", "youth", 20, 24],
#                   ["horse", "brown", "adult", 120, 6]]

如果你知道结构提前了多少级别，那就不难了，但是我仍然坚持如何编写一个适用于任意嵌套输入数据的单一函数。

输入数据始终符合以下几个条件：

单个输入中的级别数始终相同数据结构。例如，在更长的版本中 input_dict_1示例永远不会有第三个分组级别超越性别和年龄。
在每个级别，下一个子组是值对于名为data。

必须成为一个优雅的pythonic解决方案。有什么想法吗？

（这里的上下文是我尝试将从API接收的JSON转换为CSV文件，但这是唯一的难点部分。另外，我知道已经有很多关于SO处理的问题了dicts to lists，但我找不到使用类似输入/输出结构的那个。）

Answer 1

这是递归是你的朋友的问题。作为第一个例子，我们可以编写一个函数来从你的一个输入中获取我们需要的列名

input_dict_1 = {"data": [
    {"gender": "male",
     "data": [
         {"age": "adult",
          "data": {"average_height": 62, "average_weight": 200}},
         {"age": "youth",
          "data": {"average_height": 50, "average_weight": 120}}]},
    {"gender": "female",
     "data": [
         {"age": "adult",
          "data": {"average_height": 55, "average_weight": 130}},
         {"age": "youth",
          "data": {"average_height": 45, "average_weight": 80}},
         {"age": "infant",
          "data": {"average_height": 15, "average_weight": 35}}]}]}

def get_col_names( d, l=None ):
    if l==None: l=[]
    if isinstance(d['data'], list):
        l.extend( k for k in d['data'][0].keys() if k != 'data' )
        get_col_names( d['data'][0], l )
    else:
        l.extend( d['data'].keys() )
    return l

以上示例只是为了让您考虑递归。我们可以获取列名并访问我们想要的一个函数中的所有键值对

def walk_dict( d, e=None, l=None, cn=None ):
    if e==None: e={}
    if l==None: l=[]
    if cn==None: cn=[]
    for k,v in d.items():
        if k != 'data':
            if k not in cn: cn.append(k)
            e[k] = v
    if isinstance(d['data'], list):
        for dp in d['data']:
            walk_dict( dp, e, l, cn )
    else:
        for k,v in d['data'].items():
            if k not in cn: cn.append(k)
            e[k] = v
        l.append( e.copy() )
    return l, cn

在上面的函数中，e表示当前正在收集的行，l是到目前为止解析的所有行的列表，cn是列名列表。最后一些代码来构建你想要的列表列表，

rows, col_names = walk_dict( input_dict_1 )
output_array_1 = [col_names]
for d in rows:
    output_array_1.append( [d[name] for name in col_names] )

那么这里发生了什么？ e会跟踪当前的行键和值。这意味着它将只有4个键值对（对于此输入）。在我们浏览"gender":"male"和"age":"adult"时，我们希望"age":"youth"能够继续存在。这非常适合字典。最初，每行中的条目将是无序的。构建col_names后，我们可以使用它按照我们喜欢的顺序提取每行中的条目。

为什么我们使用e.copy()而不只是e？如果您不了解Python，那么这可能会让您感到非常困惑。如果您只是将e附加到列表中，您将获得对象e的引用。如果您更改e，则列表中的引用将指向已更改的e。这将导致所有行等于最后一行的键：值对。但是，通过执行e.copy()，我们告诉Python创建一个新对象并将其附加到列表中。然后，我们可以更新e，而不会影响列表中已有的内容。

除了最终的字典键（即col_names和average_height）之外，

average_weight将根据输入字典的嵌套进行排序，因为字典键的访问顺序是任意的。

将任意嵌套的Dict转换为列表列表

1 个答案: