跟踪grequest中的网址(异步)

时间:2018-11-27 15:10:04

标签: python multithreading grequests

我有一个带有ID和URL列的表,其中包含10000行。我的目标是检查网址是否存在!

由于URL数量众多,在Google上进行了一些研究之后,它使我想到了允许异步请求的grequests(gevent和请求的混合)。

但是由于它是异步的:当我提供url列表时,map函数的结果以另一个顺序返回了我一个列表。 由于我有时对于相同的URL具有不同的ID,因此我想跟踪表的原始行。例如,我不想提供一个URL列表,而是希望给该算法提供一个元组列表(id,url),当我得到一个响应时,我会得到一个元组列表(id,response)。

有可能吗?怎么办?

0 个答案:

没有答案