Scrapy - 获得回应的时间

时间:2017-11-09 15:45:40

标签: python web-scraping scrapy

就像在Scrapy request+response+download time中一样,我想知道获得响应需要多少时间。由于以下问题,提出的解决方案无法满足我的需求:

当下载程序中间件 process_request 方法返回Request对象时,会重新安排请求,并且不会立即将其传递给剩余的 process_request 方法。因此,建议的解决方案将包括调度程序再次将请求返回引擎所需的时间。

我想要的只是Downloader下载页面的时间(请求的Downloader Middleware处理结束和Response的第一个Downloader Middleware处理之间经过的时间)。

我的想法是,可以:

  1. 禁用已返回请求的重新安排。但这是否可取,我们该怎么办呢?
  2. 或尝试使用'计时器'用于触发TimeoutError。但我不知道如何访问它。
  3. 提前致谢!

1 个答案:

答案 0 :(得分:1)

这不是download_latency请求meta密钥包含的内容吗?或者您的要求不同?