标签: scrapy scrapy-pipeline
我试图在数据库(mySQL)中全面了解我的抓取情况。
所以我需要任何errback内容才能登录到数据库。
errback
是否可以将errback传递给管道? 我目前的设置是这样的:
回应 - > (项目) - >管道
当管道启动时,它会为该爬网创建一个条目(通过open_spider)。然后,该条目的表ID作为变量存储在管道中。这就是为什么我无法通过蜘蛛本身记录errback。
open_spider
或者有没有办法将crawl_id ID从管道传递给蜘蛛errback?
crawl_id