我想获取JSON api链接并将其内容保存在列表中。我必须“刮”许多页面,它们遵循此结构www.example.com/
123
。我需要将所有api内容从1
保存到列表中的100000
。什么是最好和最快的方法?我尝试了各种异步方法,但我真的很难搞清楚它们。如果你能给我代码来解决我想做的事情,那将是最好的。谢谢。
这是我放在一起的一些非常愚蠢的代码。不要问我为什么或如何,只是试图把我发现的东西和不起作用的东西放在一起。
import eventlet
from eventlet.green.urllib import request
rein = range(1700578258, 1700578258 + 150000)
rein = list(rein)
urlz = "https://acs.leagueoflegends.com/v1/stats/game/NA1/"
urls = [urlz + str(k) for k in rein]
def fetch(url):
return request.urlopen(url).read()
pool = eventlet.GreenPool()
hbod = []
while len(hbod) != 100:
try:
for body in pool.imap(fetch, urls[0:100]):
hbod.append(body)
print(len(hbod))
except:
pass