Question

我有一个 JSON 文件非常简单（但非常大）我需要过滤一下。（我暂时没有做过任何python ......）

看起来像这样：

{
    'entry_1': {
        'field_1' : 'value',
        'field_2' : 123,
        'field_3' : '',
        'field_4' : 456
    },
    'entry_2': {
        'field_1' : 'value',
        'field_2' : 321,
        'field_3' : 'value',
        'field_4' : 654
    },
    ...
}

我想过滤它以删除无用的字段。我的测试文件很小，我所做的很好但是我需要在一个非常大的文件上进行，我知道我的代码非常难看。

到目前为止，我已经做到了这一点：

dict_in = json.load(INFILE)
dict_out = defaultdict(dict) #4harambe

allowed_fields = {'field_1', 'field_3'} 
'''should I use a set or a tuple here ? or maybe something else
All data inside will be unique (set) but 
those data wont change (tuple)
'''

for entry in dict_in:
    for field in dict_in[entry]:
        if field in allowed_fields and not dict_in[entry][field]:
            # allowed field plus non empty string
            dict_out[entry][field] = dict_in[entry][field]

我想知道如何让它更有性感和更高效（双循环+ if语句与我访问数据的方式相当糟糕）。我读过有关itertools的内容，但我还不知道如何使用它，如果这是一个好主意。

Answer 1

只需：

dict_out = {k: {f: v[f] for f in allowed_fields if v.get(f)} 
            for k, v in dict_in.items()}

注意：

如果你还在使用python 2.7，请使用.iteritems()而不是.items()

Answer 2

您可以使用dictionary comprehensions编写它：

allowed_fields = {'field_1', 'field_3'}
dict_out = {
    entry_key: {
        field: field_value
        for field, field_value in entry_value.items()
        if field in allowed_fields and field_value
    }
    for entry_key, entry_value in dict_in.items()
}

为所有field_1和field_3键提供非空值：

{'entry_1': {'field_1': 'value'},
 'entry_2': {'field_1': 'value', 'field_3': 'value'}}

Answer 3

无需迭代内部dicts只需直接获取值：

def grabber(d, fields, default=None):
    return dict((f, d.get(f, default)) for f in fields) 

dict_out = {k:grabber(v, allowed_fields) for k,v in dict_in.items()}

Answer 4

将dict_in作为输入和您需要的字段： fields = ['field_1'，'field_4'] dict_out = dict（[（k，{_ k：_v for _k，_v in v.items（）if _k in fields}）for k，v in dict_in.items（）]） dict_out看起来像这样： {'entry_1'：{'field_1'：'value'，'field_4'：456}， 'entry_2'：{'field_1'：'value'，'field_4'：654}}

Python有效的方法来过滤dict

4 个答案: