标签: python web-scraping scrapy http-status-code-301
我已经阅读了将download delay重新分级的草书,其中指出。
下载程序应等待的时间(以秒为单位) 从同一网站下载连续页面。
但是,在重定向后,它没有指定蜘蛛行为。我的问题是,在执行301或302重定向后,scrapy spider是否会等待DOWNLOAD_DELAY中配置的X秒。
如果确实要等待,那么我们可以通过指定在遵循重定向时不遵循download_delay来覆盖它吗?
谢谢