物料管道中的访问请求

时间:2020-01-15 09:16:58

标签: scrapy scrapy-pipeline

我们有一个验证项目管道,现在我们想对其进行扩展,以使有时不再需要该项目的一个字段(只有一种类型的项目)。

可以使用蜘蛛的自定义设置来完成,但是随后它将应用于蜘蛛的所有项目;但是,我们希望按项目进行控制。

如果这是蜘蛛中间件,我们将向请求添加一个meta键,一切都会好起来的。

但是,到现在为止,我能想到的只是:

  • 向项目本身添加一个meta字段,我非常想避免。
  • 要将其转换为蜘蛛中间件,除了不是通常的验证阶段之外,还需要移动其他管道。

在管道中是否也有任何办法来获取来自某物品的请求?

this related question中的普遍共识是不可能,但是我认为应该这样做,因为在LogFormatter的函数中

def dropped(self, item, exception, response, spider)

我们确实有一个response参数,当我从管道中删除一个项目时,确实看到了request内的正确response

0 个答案:

没有答案