scrapy爬虫的CPU使用率很高

Question

我在多个实例（4）中并行运行多个蜘蛛。所有这些都使用了几乎100％的CPU使用率。

我已经使用scrapyd部署了它们。尝试将诸如max_concurrent_requests，CONCURRENT_REQUESTS，CONCURRENT_REQUESTS_PER_DOMAIN之类的报废设置更改为最小但没有运气。

我正在使用python 2.7.5和 scrapy 0.24

我已经用谷歌搜索解决方案并找到了这个页面

https://groups.google.com/forum/#!topic/scrapy-users/Rgq07ldcoPs

我无法获得他们的解决方案

提前致谢

Answer 1

修正了此问题。问题是经常更新Mysql，最终导致CPU负载。在管道中引入了一点延迟以减少负载，从而解决了整个问题。