如何使用scrapy-redis管道？

Question

我现在正在使用scrapy-redis，我很喜欢它，并且我通过使用相同的redis服务器在不同的计算机上爬行成功。 但我不明白如何正确使用scrapy-redis管道。 根据我的理解，我认为我需要另一个脚本而不是蜘蛛来处理redis管道列表中的项目，然后我可以做一些事情，比如将它们存储到数据库中。 我是否理解正确，我是否必须编写另一个脚本，它以某种方式依赖于蜘蛛？

Answer 1

管道是一个不同的脚本，是的。在设置文件中，您可以启用管道。管道可用于将已爬网结果存储在您想要的任何数据库中。