我们有一个验证项目管道,现在我们想对其进行扩展,以使有时不再需要该项目的一个字段(只有一种类型的项目)。
可以使用蜘蛛的自定义设置来完成,但是随后它将应用于蜘蛛的所有项目;但是,我们希望按项目进行控制。
如果这是蜘蛛中间件,我们将向请求添加一个meta
键,一切都会好起来的。
但是,到现在为止,我能想到的只是:
在管道中是否也有任何办法来获取来自某物品的请求?
this related question中的普遍共识是不可能,但是我认为应该这样做,因为在LogFormatter
的函数中
def dropped(self, item, exception, response, spider)
我们确实有一个response
参数,当我从管道中删除一个项目时,确实看到了request
内的正确response
。