如何提高针对一个网站的Scrapy集群的吞吐量?

时间:2016-07-21 07:33:31

标签: web-scraping scrapy cluster-computing

我在Linode中使用4个Ubuntu主机,每小时使用Scrapy群集配置抓取~10k url。如何提高ASAP队列请求的速度?

我对所有网址使用相同的域名。

0 个答案:

没有答案