将Json文件读取为Pandas Dataframe错误

时间:2016-04-25 10:14:05

标签: python json pandas

我有一个Json文件如下。这是一个dicts列表。

[{"city": "ab", "trips": 4, "date": "2014-01-25", "value": 4.7, "price": 1.1, "request_date": "2014-06-17", "medium": "iPhone", "%price": 15.4, "type": true, "Weekly_pct": 46.2, "avg_dist": 3.67, "avg_price": 5.0}, {"city": "bc", "trips": 0, "date": "2014-01-29", "value": 5.0, "price": 1.0, "request_date": "2014-05-05", "medium": "Android", "%price": 0.0, "type": false, "weekly_pct": 50.0, "avg_dist": 8.26, "avg_price": 5.0}.....]

当我用这个读到这个时:

data=pd.read_json('dataset.json')

我收到以下错误:

  

ValueError:预期的对象或值

我也试过了:

from ast import literal_eval

with open('dataset.json') as f:
    data = literal_eval(f.read())

df = pd.DataFrame(data)

它出现以下错误:

  

ValueError:格式错误的字符串

编辑:

即使Json.loads也不起作用。试过这个:

import json
data=json.loads('dataset.json')
  

ValueError:无法解码JSON对象

Json文件是13.5MB,但它似乎有大量数据。

6 个答案:

答案 0 :(得分:13)

我认为您可以使用modul json来阅读file.json然后DataFrame constructor

import pandas as pd
import json

with open('file.json') as f:
   data = json.load(f)
print data
[{u'city': u'ab', u'medium': u'iPhone', u'request_date': u'2014-06-17', u'price': 1.1, u'Weekly_pct': 46.2, u'value': 4.7, u'%price': 15.4, u'avg_price': 5.0, u'date': u'2014-01-25', u'avg_dist': 3.67, u'type': True, u'trips': 4}, {u'city': u'bc', u'medium': u'Android', u'request_date': u'2014-05-05', u'price': 1.0, u'weekly_pct': 50.0, u'value': 5.0, u'%price': 0.0, u'avg_price': 5.0, u'date': u'2014-01-29', u'avg_dist': 8.26, u'type': False, u'trips': 0}]

print pd.DataFrame(data)

   %price  Weekly_pct  avg_dist  avg_price city        date   medium  price  \
0    15.4        46.2      3.67        5.0   ab  2014-01-25   iPhone    1.1   
1     0.0         NaN      8.26        5.0   bc  2014-01-29  Android    1.0   

  request_date  trips   type  value  weekly_pct  
0   2014-06-17      4   True    4.7         NaN  
1   2014-05-05      0  False    5.0        50.0  

答案 1 :(得分:5)

您需要向Pandas表明datasets.json中使用了“记录”格式(JSON显示为字典列表)。

res = pd.read_json('input/dataset.json', orient='records')

print(res.iloc[:, :5])
   %price  Weekly_pct  avg_dist  avg_price city
0    15.4        46.2      3.67          5   ab
1     0.0         NaN      8.26          5   bc

答案 2 :(得分:2)

我有同样的错误。原来找不到文件。我修改了路径,tab[1]工作正常。对于pd.read_jsonthis可能会有所帮助。

答案 3 :(得分:0)

当pd.read_json失败时,以下内容对我有用: 打开文件,使用普通的json.load加载,然后加载到熊猫数据框。

    import pandas as pd
    import json

    openfile=open('file.json')
    jsondata=json.load(openfile)
    df=pd.DataFrame(jsondata)

    openfile.close()
    print(df)

答案 4 :(得分:0)

对我来说,这是路径的问题。我必须使用的路径取决于我运行 python 文件的目录。也许尝试 'cd' 进入你的 python 文件目录,然后 data=pd.read_json('dataset.json') 应该可以工作。

答案 5 :(得分:0)

我必须添加参数 lines=True 才能使其工作,例如:

pd.read_json("dataset.json", lines=True)

或者你可以这样做:

import json
import pandas as pd

with open("dataset.json") as f:
  df = pd.DataFrame([json.loads(l) for l in f.readlines()])
print(df)  # Shows data frame as expected