在Pandas中解析嵌套的结构化json

时间:2018-06-22 12:09:59

标签: python json list pandas python-requests

我正在从API接收请求,并尝试使用requests库和json_normalize()函数在Python中对其进行处理。这是我的步骤:

import requests
from pandas.io.json import json_normalize 

url = "Some String"

headers = {

'Authorization':"Some Token"}

response = requests.request("GET", url, headers=headers)

data = response.json()

df = json_normalize(data)

它给我这样的输出:

Col1                                                  Col2
[{'text': 'sometext', 'date':'1528322400000',...}]    [[1528322400000, 24], [1528322460000, 24]

我想解析列内的嵌套结构,从中构造数据框并在日期上合并。

这种情况是,我可以像这样解析Col1df = json_normalize(data['Col1'])会给我很好的数据框,其中包含来自此嵌套json的列,一切都很好。

但是它不适用于Col2,因为基本上是列表。执行df = json_normalize(data['Col2'])时收到错误消息:'list' object has no attribute 'values'

我的问题:

  1. 我可以像使用Col1(使用json_normalize()或其他方法)一样解析嵌套列表吗?
  2. 如果我将对API本身和Col2中的所有列名进行一些更改,就像在Col1中进行更改那样以便于解析,会更容易吗?

谢谢!

2 个答案:

答案 0 :(得分:1)

只需从您的col2内容创建一个数据框,它将完美地工作。

>>> import pandas as pd
>>>  pd.DataFrame([[1528322400000, 24], [1528322460000, 24]], columns=['c1','c2'])

              c1  c2
0  1528322400000  24
1  1528322460000  24

这是您想要的吗?

答案 1 :(得分:1)

如果json数据是包含键和值的字典列表,例如下面给出的

Data = [{'key1' : Value1, 
         'key2' : Value2},
        {'key1' : Value3, 
         'key2' : Value4},
        {'key1' : Value5, 
         'key2' : Value6}]

然后

import pandas as pd
from pandas.io.json import json_normalize

DF = pd.DataFrame.from_dict(json_normalize(Data), orient='columns')

将为您提供以下格式的数据框:

     key1     key2

0   Value1   Value2
1   Value3   Value4
2   Value5   Value6

希望这会有所帮助。