Scrapy：没有启用主机和持久支持的路由

Question

如果我正在运行启用了持久支持的爬虫，并且我暂时松开了互联网连接。在临时网络丢失期间，爬虫是否会重试无法获得主机错误路由的URL？

Answer 1

是

Scrapy使用HTTP 1.1客户端，默认情况下具有持久支持，并且在引擎盖下（由于Twisted），它使用一个持久连接池，当连接丢失时自动重试。

除此之外，当Scrapy获取请求的连接错误（超时，dns错误，无路由等）时，RetryMiddleware负责重试请求。见http://doc.scrapy.org/en/latest/topics/downloader-middleware.html#module-scrapy.contrib.downloadermiddleware.retry