连接错误时如何在特定管道中重试其他请求

时间:2018-11-14 05:45:12

标签: scrapy

  

[scrapy.downloadermiddlewares.retry]调试:正在重试http://img14.360buyimg.com/n1/s800x800_jfs/t21448/27/2565333063/465767/c06c0af6/5b5c83e6Nb83e3a19.pn>(失败1次):用户超时连接失败:获取http://img14.360buyimg.com/n1/s800x800_jfs/t21448/27/2565333063/465767/c06c0af6/5b5c83e6Nb83e3a19.png的时间超过了180.0秒。

赞。我有多个管道,当请求超时失败时,我想请求其他图像URL。

我看到了皮皮

  

重试中间件

但是似乎所有请求都如此。我只想指定我的ImagePipelines。

1 个答案:

答案 0 :(得分:0)

请参阅RetryMiddleware的文档。

RETRY_ENABLED的默认设置为True,您可以将其更改为False以禁用中间件。