我的电脑里有两个cpu。
cat /proc/cpuinfo |grep cores
cpu cores : 2
1.如何知道scrapy crawl project
使用了哪个cpu?
2.如何使用scrapy crawl project
来使用所有cpus?
答案 0 :(得分:1)
Scrapy将始终使用1个核心进行抓取过程。这样的爬网是网络I / O密集型过程,并且不需要太多CPU功率。可以使用多个处理过的scrapy,但不是没有一些努力。
请检查在SO
上回答的类似问题