将scrapy队列存储在数据库中

Question

我想将url队列存储在数据库中，以便可以在不同计算机上运行的多个scrapy实例共享它。

我发现我需要实现一个队列API，然后使用SPIDER_QUEUE_CLASS设置注册我的队列。但是，我无法在任何地方找到应该实现的API的样子。还可以吗？

Answer 1

scrapy内部队列使用queuelib

  

Queuelib的目标是速度和简单性。它最初是Scrapy框架的一部分，并在自己的库中被剥离。

它的“api”相当简单，请参阅push和pop are used by scrapy的方式，您的实现可能如下所示：

DatabaseFifoQueue = _serializable_queue(myqueue.DatabaseQueue, \
_pickle_serialize, pickle.loads)
...