使用scrapy以FIFO顺序爬行请求

Question

我希望scrapy以FIFO顺序处理爬行，例如我在该循环中有一个循环，每个元素处理3个DEPTH节点，第二个元素在完成第一个3个DEPTH调用后启动。

Answer 1

我解决这个问题的方法是将所有需要的数据放在meta中，并且有一个可以处理2个案例的解析函数。

第一种情况将处理“3级深度和逻辑”以及与此相关的事情和第二种情况将解析主页面。

完成后，只需返回再次调用同一函数的请求。

一般的想法是在meta中获取所有“下一步”信息并根据该信息进行操作以分离案例。