在Scrapy项目中,我刮掉了一堆“案例”。对于每种情况,我刮几个项目,并插入数据库。在每个案例完成后,我想在db中将该案例标记为“已签入”,表明该案例的所有项目都已完成。
所以我为每个案例制作了一个Checkin
项{'checked_in': datetime.utcnow()}
我生成了一个表格列表
[Request(...), Request(...), Request(...), Checkin]
但是,将该列表返回给Scrapy会导致它在收集完所有Request对象之前将Checkin插入到db中。在插入任何请求之前签入。
相反,我想要一种方法来编写它,以便对于每种情况,管道都不会插入checkin对象,直到将该案例的所有请求结果插入到db中。
我该怎么做?