Scrapy下载延迟和301重定向

时间:2018-11-24 15:32:57

标签: python web-scraping scrapy http-status-code-301

我已经阅读了将download delay重新分级的草书,其中指出。

  

下载程序应等待的时间(以秒为单位)   从同一网站下载连续页面。

但是,在重定向后,它没有指定蜘蛛行为。我的问题是,在执行301或302重定向后,scrapy spider是否会等待DOWNLOAD_DELAY中配置的X秒。

如果确实要等待,那么我们可以通过指定在遵循重定向时不遵循download_delay来覆盖它吗?

谢谢

0 个答案:

没有答案