如何使用DepthMiddleware的深度值?

时间:2016-02-20 19:34:39

标签: web-scraping scrapy

我有一个广泛的爬虫,递归地传播网站,我想实现一个层级系统,随着网页越来越远离原始的种子网址而递增。

例如,如果我从stackoverflow.com开始,则可以从http://stackoverflow.com访问的任何链接的层值为1,而stackoverflow.com的层值为0是一个种子网址。

1 个答案:

答案 0 :(得分:0)

响应的深度级别可通过response.meta['depth']获得。