API上的python多进程请求

Question

我需要从API获取基于不同ID的URL的数据。

url =“http://123456789/” id =“jimmy”

我有一个ID列表，这是我的代码

for id in ID:
   response = requests.get(url+id)
   info = response.json(encoding = "utf-8")
   ##save info 

但我有400,000个ID，需要很长时间才能获取所有数据， 所以我想使用multiprocess来完成这项工作。 将ID列表剪切为10个或更多小列表并在同一时间运行它们。 我怎样才能做到这一点？ 请帮忙，谢谢！

Answer 1

您可以使用Pool。 将ID列表切割为多个subId，不同的进程处理不同的id。 https://docs.python.org/2/library/multiprocessing.html