运行多个蜘蛛抓取蜘蛛有什么限制吗？

Question

我想用沙哑跑很多蜘蛛。这会使抓取过程变慢还是对蜘蛛运行没有任何限制？运行许多无限制的蜘蛛会使进程变慢吗？

有没有对Scrapy有经验的人？

Answer 1

您可以同时运行多个蜘蛛，没有，这不会使过程变慢。