标签: web-scraping scrapy cluster-computing
我在Linode中使用4个Ubuntu主机,每小时使用Scrapy群集配置抓取~10k url。如何提高ASAP队列请求的速度?
我对所有网址使用相同的域名。