如何在scrapy中保留对请求的引用

Question

我从数字创建的链接中抓取页面

www.some_page.com/some_number

当网页存在时，网址会发生变化，当我尝试：

response.request.url

我没有得到：

www.some_page.com/some_number

我用它来进行搜索，所以我丢失了用于获取页面的号码，我需要保留此号码以便再次匹配数据。

当我发出请求并将其返回到响应中时，如何传递一些值，作为参数的数字？

Answer 1

这正是.meta的用途：

def parse(self, response):
     return scrapy.Request(url, 
                           meta={"number": number},
                           callback=self.parse_page)

def parse_page(self, response):
    print(response.meta["number"])