在第一次请求/解析之前在Spider中草率地返回项目

时间:2019-05-26 16:42:10

标签: python scrapy

在开始解析请求之前,我需要从蜘蛛内部返回一些物品。因为我需要在解析子项之前确保数据库中存在某些父项。

我现在首先从parse方法产生它们,这似乎很好用。但是我想知道是否有更好的方法可以做到这一点?

1 个答案:

答案 0 :(得分:1)

与其生成项目,不如直接在将常规项目添加到数据库的管道的构造函数中将它们写入数据库。