使用熊猫JSON_normalize展平JSON数据

时间:2019-06-18 19:25:00

标签: python json pandas

这是我的json文件,看起来像:

{"File": "xyz.csv", "Line": "0", "Classes": [{"Name": "ABC", "Score": 0.9842}, {"Name": "DEF", "Score": 0.0128}, {"Name": "GHI", "Score": 0.003}]}
{"File": "xyz.csv", "Line": "1", "Classes": [{"Name": "ABC2", "Score": 0.9999}, {"Name": "DEF2", "Score": 0.1111}, {"Name": "GHI2", "Score": 0.5666}]}

pred_df = pd.read_json('filename.json',lines=True)

当我尝试使用json_normalize最后一列“类”时,它给了我一个错误:字符串索引必须是整数

Class = json_normalize(data = pred_df,
                  record_path= pred_df['Classes'],
                  meta =['Name','Score'])

请让我知道我在这里想念的...。谢谢!

1 个答案:

答案 0 :(得分:0)

分两个步骤执行。第一个加载您的JSON,第二个加载您的“类”列,并使用np.repeat向其广播其余数据。

df = pd.read_json('filename.json', lines=True)

classes = df.pop('Classes')
pd.concat([
    pd.DataFrame(classes.sum()), 
    pd.DataFrame(df.values.repeat(classes.str.len(), axis=0), columns=[*df])
], axis=1)

   Name   Score     File Line
0   ABC  0.9842  xyz.csv    0
1   DEF  0.0128  xyz.csv    0
2   GHI  0.0030  xyz.csv    0
3  ABC2  0.9999  xyz.csv    1
4  DEF2  0.1111  xyz.csv    1
5  GHI2  0.5666  xyz.csv    1

如果性能很重要,请用classes.sum()替换itertools.chain.from_iterable(classes)