如何使用所有cpus与`scrapy crawl project`一起使用?

时间:2017-09-02 03:22:35

标签: scrapy

我的电脑里有两个cpu。

cat /proc/cpuinfo |grep cores
cpu cores   : 2

1.如何知道scrapy crawl project使用了哪个cpu? 2.如何使用scrapy crawl project来使用所有cpus?

1 个答案:

答案 0 :(得分:1)

Scrapy将始终使用1个核心进行抓取过程。这样的爬网是网络I / O密集型过程,并且不需要太多CPU功率。可以使用多个处理过的scrapy,但不是没有一些努力。

请检查在SO

上回答的类似问题

Scrapy Use both the CORE in the system