情况1：scrapy crawl somespider键入几次（同一时间，使用nohup背景）
案例2：使用CrawlerProcess并在python脚本中配置多蜘蛛并运行
什么是差案？我已经使用5个Spider尝试过case2，但是速度却不快。
答案 0 :(得分：1)
scrapy crawl对每个蜘蛛使用一个进程，而CrawlerProcess在一个进程上使用单个Twisted Reactor（虽然我也不太确定在做一些事情）来运行多个蜘蛛一次。
所以，基本上：
scrapy crawl->一个以上的过程CrawlerProcess->使用扭曲反应堆仅运行一个进程