如何获得scrapy转到下一页？

Question

我很想用Scapy制造刮刀。 我不明白为什么Scrapy不想进入下一页。我要从分页区域中提取链接..但是，唉。 我提取网址以进入下一页的规则

Rule(LinkExtractor(restrict_xpaths='/html/body/div[19]/div[5]/div[2]/div[5]/div/div[3]/ul',allow=('page=[0-9]*')), follow=True)

履带

Class DmozSpider(CrawlSpider):
    name = "arbal"
    allowed_domains = ["bigbasket.com"]
    start_urls = [
        "http://bigbasket.com/pc/bread-dairy-eggs/bread-bakery/?nc=cs"
    ]

    rules = (
             Rule(LinkExtractor(restrict_xpaths='/html/body/div[19]/div[4]/ul',allow=('pc\/.*.\?nc=cs')), follow=True),
             Rule(LinkExtractor(restrict_xpaths='/html/body/div[19]/div[5]/div[2]/div[5]/div/div[3]/ul',allow=('page=[0-9]*')), follow=True),
             Rule(LinkExtractor(restrict_xpaths='//*[@id="products-container"]',allow=('pd\/*.+')), callback='parse_item', follow=True)
             )

    def parse_item(self, response):
        item = AlabaItem()
        hxs = HtmlXPathSelector(response)
        item['brand_name'] = hxs.select('.//*[contains(@id, "slidingProduct")]/div[2]/div[1]/a/text()').extract()
        item['prod_name'] =  hxs.select('//*[contains(@id, "slidingProduct")]/div[2]/div[2]/h1/text()').extract()
        yield item

Answer 1

有一种AJAX风格的分页，不容易理解，但可行。

使用浏览器开发人员工具，您可能会看到每次切换页面时，都会向http://bigbasket.com/product/facet/get-page/ sid和page参数发送XHR请求：

问题在于sid参数 - 这是我们将从页面上包含sid的第一个链接中提取的内容。

响应采用JSON格式，包含products密钥，该密钥基本上是页面上products_container块的HTML代码。

请注意CrawlSpider在这种情况下无济于事。我们需要使用常规蜘蛛并“手动”跟踪分页。

您可能会遇到的另一个问题是：我们如何知道要关注的页数 - 这里的想法是从页面底部的“显示X-Y of Z products”标签中提取页面上的产品总数。页面，然后将产品总数除以20（每页20个产品）。

实现：

import json
import urllib

import scrapy


class DmozSpider(scrapy.Spider):
    name = "arbal"
    allowed_domains = ["bigbasket.com"]
    start_urls = [
        "http://bigbasket.com/pc/bread-dairy-eggs/bread-bakery/?nc=cs"
    ]

    def parse(self, response):
        # follow pagination
        num_pages = int(response.xpath('//div[@class="noItems"]/span[@class="bFont"][last()]/text()').re(r'(\d+)')[0])
        sid = response.xpath('//a[contains(@href, "sid")]/@href').re(r'sid=(\w+)(?!&|\z)')[0]

        base_url = 'http://bigbasket.com/product/facet/get-page/?'
        for page in range(1, num_pages/20 + 1):
            yield scrapy.Request(base_url + urllib.urlencode({'sid': sid, 'page': str(page)}), dont_filter=True, callback=self.parse_page)

    def parse_page(self, response):
        data = json.loads(response.body)

        selector = scrapy.Selector(text=data['products'])
        for product in selector.xpath('//li[starts-with(@id, "product")]'):
            title = product.xpath('.//div[@class="muiv2-product-container"]//img/@title').extract()[0]
            print title

对于start_urls中设置的页面，它会打印281个产品标题。