Scrapy将HTTP错误记录到数据库或管道

时间:2017-11-02 09:20:13

标签: scrapy scrapy-pipeline

我试图在数据库(mySQL)中全面了解我的抓取情况。

所以我需要任何errback内容才能登录到数据库。

是否可以将errback传递给管道? 我目前的设置是这样的:

  

回应 - > (项目) - >管道

当管道启动时,它会为该爬网创建一个条目(通过open_spider)。然后,该条目的表ID作为变量存储在管道中。这就是为什么我无法通过蜘蛛本身记录errback

或者有没有办法将crawl_id ID从管道传递给蜘蛛errback

0 个答案:

没有答案