我在Amazon EC2实例（c4xlarge）上部署了一个工作的scrapy spider并使用scrapyd运行。
无论我做什么，我似乎无法每分钟处理~200件加工品（根据scrapy日志）。
我尝试使用scrapyd并发设置，没有任何帮助，尝试使用scrapyd max_proc_per_cpu（降低到1以避免上下文切换），尝试从命令行运行单独的scrapy爬虫，仍然，所有这些一起给出大约200件物品的相同结果。
我可以从scrapy日志中看到，点击的网页总量几乎呈线性增长，但每分钟的抓取项目似乎停留在200.
任何提示？以前有人遇到过这个吗？我错过了某个地方的设置吗？