一段时间失去连接后如何使scrapy继续下载

Question

我正在尝试使用scrapy抓取网站，但是办公室中的网络不稳定。如果我们失去网络连接甚至几秒钟，scrapy就会停滞并停止下载。我们可以看到最后一个日志是：

2018-08-27 11:50:05 [urllib3.connectionpool] DEBUG: Starting new HTTPS connection (1): *.*.org
2018-08-27 11:50:07 [urllib3.connectionpool] DEBUG: https://**.**.org:443 "GET /01313_**0.jpg HTTP/1.1" 200 135790

我曾尝试更改超时设置，但没有任何反应。 谢谢！

Answer 1

您可以尝试设置RETRY_TIMES设置（在settings.py中）：

RETRY_TIMES=5