标签: web-scraping scrapy
我有一个广泛的爬虫,递归地传播网站,我想实现一个层级系统,随着网页越来越远离原始的种子网址而递增。
例如,如果我从stackoverflow.com开始,则可以从http://stackoverflow.com访问的任何链接的层值为1,而stackoverflow.com的层值为0是一个种子网址。
stackoverflow.com
http://stackoverflow.com
答案 0 :(得分:0)
响应的深度级别可通过response.meta['depth']获得。
response.meta['depth']