多个网址的Scrapy问题

Question

我正在从多个网址抓取数据，这样：

{{1}}

问题是，在这种情况下我有一个大约200行的csv，而对于每个url我有大约50行。在时间刮一个网址工作正常，但如果我设置了多个网址，为什么我会有不同的结果呢？

Answer 1

我会尝试通过增加请求之间的延迟（DOWNLOAD_DELAY setting）和减少并发请求量（CONCURRENT_REQUESTS setting）来调整爬行速度并稍微减慢速度，例如：

DOWNLOAD_DELAY = 1
CONCURRENT_REQUESTS = 4