插入项目后Scrapy数据库管道签入

时间:2017-02-28 02:11:23

标签: python scrapy twisted

在Scrapy项目中,我刮掉了一堆“案例”。对于每种情况,我刮几个项目,并插入数据库。在每个案例完成后,我想在db中将该案例标记为“已签入”,表明该案例的所有项目都已完成。

所以我为每个案例制作了一个Checkin{'checked_in': datetime.utcnow()}我生成了一个表格列表

[Request(...), Request(...), Request(...), Checkin]

但是,将该列表返回给Scrapy会导致它在收集完所有Request对象之前将Checkin插入到db中。在插入任何请求之前签入。

相反,我想要一种方法来编写它,以便对于每种情况,管道都不会插入checkin对象,直到将该案例的所有请求结果插入到db中。

我该怎么做?

0 个答案:

没有答案