如何使用Scrapy获取统计信息(item_scraped_count)?

时间:2019-04-20 14:46:46

标签: python web-scraping scrapy

我想获取报废物品的总数,但我总是遇到错误

from scrapy.stats import stats

class MySpider(Spider):
  name = "myspider"
  start_urls = ["http://example.com"]
  #Other Code


def close_spider(self, spider):
   stats.set_value('item_scraped_count')

我总是遇到这个错误 “ Scrapy.stats已经过时,请改为使用crawler.stats”。

我尝试了不同的代码并在互联网上进行了搜索,但我找不到正确的答案,请帮帮我

1 个答案:

答案 0 :(得分:1)

一切都好,我现在只使用https://doc.scrapy.org/en/latest/topics/stats.html

def __init__(self, stats):
    self.stats = stats

@classmethod
def from_crawler(cls, crawler):
    return cls(crawler.stats)