scrapy设置选项CONCURRENT_REQUESTS不起作用

时间:2017-07-28 08:19:34

标签: python scrapy

Python 3.6.2,Scrapy 1.4.0,windows 2007

scrapy工作正常,但此选项CONCURRENT_REQUESTS无效。

我将CONCURRENT_REQUESTS设置为64,但速度没有变化。 cpu率保持在20%,这个选项似乎没有任何改变。

我如何检测它的实际concurrent_requests并使其运行得更快

0 个答案:

没有答案