如何使用Python读取大数据JSON?

时间:2018-12-30 17:32:34

标签: python json pandas ijson

我需要在pandas数据帧中加载大型JSON文件。

我的问题是如何在熊猫中读取/打开此文件?

通过终端,我可以看到文件的开头(每行/记录由\n分隔)

{'asin': '0001048791', 'salesRank': {'Books': 6334800}, 'imUrl': 
'http://ecx.images-amazon.com/images/I/51MKP0T4DBL.jpg', 'categories':     
[['Books']], 'title': 'The Crucible: Performed by Stuart Pankin, Jerome 
Dempsey & Cast'}
{'asin': '0000143561', 'categories': [['Movies & TV', 'Movies']],
'description': '3Pack DVD set - Italian Classics, Parties and Holidays.', 
'title': 'Everyday Italian (with Giada de Laurentiis), Volume 1 (3 Pack): 
Italian Classics, Parties, Holidays', 'price': 12.99, 'salesRank': {'Movies 
& TV': 376041}, 'imUrl': 'http://g-ecx.images-amazon.com/images/G/01/x- 
site/icons/no-img-sm._CB192198896_.gif', 'related': {'also_viewed': 
['B0036FO6SI', 'B000KL8ODE', '000014357X', 'B0037718RC', 'B002I5GNVU', 
'B000RBU4BM'], 'buy_after_viewing': ['B0036FO6SI', 'B000KL8ODE', 
'000014357X', 'B0037718RC']}}

使用read_json中的pandas会给我一个错误(ValueError:预期的对象或值),包括当我为orient参数使用不同的值时。

import pandas as pd
df = pd.read_json('metadata.json', lines=True)

0 个答案:

没有答案