使用python获取多个JSON api请求的最快方法

时间:2015-07-06 07:56:27

标签: python json api asynchronous

我想获取JSON api链接并将其内容保存在列表中。我必须“刮”许多页面,它们遵循此结构www.example.com/ 123。我需要将所有api内容从1保存到列表中的100000。什么是最好和最快的方法?我尝试了各种异步方法,但我真的很难搞清楚它们。如果你能给我代码来解决我想做的事情,那将是最好的。谢谢。

这是我放在一起的一些非常愚蠢的代码。不要问我为什么或如何,只是试图把我发现的东西和不起作用的东西放在一起。

import eventlet
from eventlet.green.urllib import request
rein = range(1700578258, 1700578258 + 150000)
rein = list(rein)
urlz = "https://acs.leagueoflegends.com/v1/stats/game/NA1/"
urls = [urlz + str(k) for k in rein]
def fetch(url):

  return request.urlopen(url).read()

pool = eventlet.GreenPool()
hbod = []
while len(hbod) != 100:
  try:
    for body in pool.imap(fetch, urls[0:100]):
      hbod.append(body)
      print(len(hbod))
  except:
    pass

0 个答案:

没有答案