如何在scrapy中共享作业队列？

Question

我想通过同一个蜘蛛的不同作业共享url队列。 JOBDIR设置仅用于存储单个作业的状态。有没有共享url队列的解决方案？

Answer 1

我会看一下scrapy-redis。这似乎足够了。

当然，如果您不介意将Redis添加为依赖项。