scrapy 429错误和503错误

Question

我正在使用草率的框架来获取所需的数据。一些请求得到处理，但在收到几个请求后，我收到状态码503，有时是429。

我使用了以下设置：

CONCURRENT_REQUESTS = 1
CONCURRENT_REQUESTS_PER_DOMAIN = 1
DOWNLOAD_DELAY = 5.0
AUTOTHROTTLE_START_DELAY = 2.0

我将DOWNLOAD_DELAY从1.0更改为5.0。如果增加更多，它将影响我的需求。正确的设置是什么？

我的草率版本是Scrapy == 1.1.1，fake-useragent == 0.1.7，Twisted == 16.3.0。