scrapyd或CrawlerProcess用于parralel解析

Question

我需要在同一台服务器上并行运行很多蜘蛛（~20-50）。 我的一些蜘蛛正在进行两天以上，有时我需要在所有进程完成之前运行一个新蜘蛛。 据我所知，这种可能性提供了scrapyd（单独的守护进程）和CrawlerProcess（scrapy类）。 或者芹菜更适合这里？ （我想用python3） 每种方法的特殊方面是什么，哪种方法对我的项目更好？

Answer 1

正如https://github.com/scrapy/scrapyd/issues/143中提到的，scrpyd将支持python3。无论如何，芹菜是一个不错的选择。