如何在不输出输出的情况下请求多个页面？

Question

我需要请求一个URL列表，每次通过POST传递不同的变量，最重要的是，我需要保存每个请求的输出。

有没有办法使用Python我可以在后台运行多个URL请求，以便一次不执行请求（目前）？

for exrow in exdata:
     id = exrow['increment_id']
     mage = requests.post(complete_url, data = {'id' : id})
     output = mage.content

     if output :
          f.writelines(output + ',')

Answer 1

您想要的是异步请求。结果不会立即返回，但这只是意味着它可以在后台处理，而您的代码可以继续。稍后，当您实际需要请求的内容时，您可以检索它。有几个库建立在提供URLS异步调用的请求上。

• grequests
• requests-futures

它们的工作方式略有不同，但希望其中一个可以使用。

我也没有亲身经历，但他们都来recommendations from the official requests project。