Question

我正在尝试抓取多个页面，但是我的搜寻器最终在第1页和第2页之间循环。如何编写只能向前移动的脚本？我尝试了以下选择器，但无法从第1页移至第2页。

NEXT_PAGE_SELECTOR = '//span[@class="page-link"]//span[contains(text(),"»")]/preceding-sibling::a/@href'
nextPageUrl = response.urljoin(response.xpath(NEXT_PAGE_SELECTOR).extract_first())

在第1页

<span class="page-link"><a href=".../page/2/"><span aria-hidden="true">»</span><span class="sr-only">Next page</span></a></span>

在第2页

<span class="page-link"><a href=".../page/1/"><span aria-hidden="true">«</span><span class="sr-only">Previous page</span></a></span>

谢谢

Answer 1

使用NEXT_PAGE_SELECTOR很难调试发生的情况。还有另一种更简单的方法可以遍历所需的所有页面。您可以使用CrawlSpider的“解析”方法。在“ parse”方法内部，您可以从页面获取数据，然后获取下一页URL，以使回调等于self.parse的收益。它将打开下一个URL，并再次对下一个URL响应运行“ parse”方法。

from scrapy.spiders import CrawlSpider


class SomeSpider(CrawlSpider):
    name = 'SAME NAME'
    allowed_domains = ['ALLOWED DOMAINS HERE']
    start_urls = ['START_URL'

    def parse(self, response):
        # First you get all data from current page.
        urls = response.css('div.title a::attr(href)').extract()

        for url in urls:
            yield response.follow(url, callback=self.parse_data_page)

        # Second you get next page URL and yield it with callback.
        next_page = response.css('span.page-link a::attr(href)').extract_first()
        yield response.follow(next_page, callback=self.parse})

    def parse_data_page(self, response):
        # Pars

Scrapy Spider如何避免在当前页面和下一页之间无休止的循环

1 个答案: