python处理来自维基百科api的大型json响应

Question

我正在访问维基百科api以从页面中获取文本。我正在使用带有页面名称的parse api调用。 Click here for example, then hit the make request button to get the response.它为整个站点的html提供了json对象中的元素，并允许您通过为Wiki页面中的每个部分提供字节偏移来解析所需的项目。是否有更好的方法来处理它然后将整个响应加载到内存中？现在，我能想到的是使用json.loads（）来创建一个dict，然后按字符串指定的每个字节偏移量分割字符串。

Answer 1

您可以使用iijson，一个迭代的JSON解析器。此程序包允许您迭代节点，例如：

import ijson

f = urlopen('http://.../')
objects = ijson.items(f, 'earth.europe.item')
cities = (o for o in objects if o['type'] == 'city')
for city in cities:
   do_something_with(city)