来自2页的数据作为一个项目

Question

我正在抓取产品的网站，显示产品价格的货币是通过网址/en-GB/设置为GBP而/en-AU/设置为AUD我的客户想要一个项目中的两个价格。

我希望能够使用管道将其放入他们的数据库中，因此之后将其组合起来是不可行的。他们无论如何都要用scrapy来做这件事吗？

Answer 1

http://doc.scrapy.org/en/latest/topics/request-response.html#passing-additional-data-to-callback-functions

def parse_page1(self, response):
    item = MyItem()
    item['price_GBP'] = response.xpath("//foo/bar").extract_first()
    request = scrapy.Request("http://www.example.com/en-AU/",
                             callback=self.parse_page2)
    request.meta['item'] = item
    yield request

def parse_page2(self, response):
    item = response.meta['item']
    item['price_AUD'] = response.xpath("//foo/bar").extract_first()
    yield item