Question

我是Python的初学者，我正在尝试使用webhose.io API从网上收集数据。问题是这个爬虫一次从一个JSON中检索100个对象，即要检索500个数据，需要发出5个请求。当我使用API时，我无法一次收集所有数据。我能够收集前100个结果，但是当进入下一个请求时，会发生错误，重复第一个帖子。请遵循以下代码：

import webhoseio
webhoseio.config(token="Xxxxx")
query_params = {
    "q": "trump:english",
    "ts": "1498538579353",
    "sort": "crawled"
}
output = webhoseio.query("filterWebContent", query_params)


x = 0

for var in output['posts']:
    print output['posts'][x]['text']
    print output['posts'][x]['published']
    if output['posts'] is None:
        output = webhoseio.get_next()
        x = 0

感谢。

Answer 1

使用以下内容：

while output['posts']:
    for var in output['posts']:
        print output['posts'][0]['text']
        print output['posts'][0]['published']

    output = webhoseio.get_next()

从Python中的Webhose API检索JSON数据时出错

1 个答案: