Question

在对Scrapy文档进行了几次阅读后，我仍然没有发现使用CrawlSpider规则和在回调方法上实现自己的链接提取机制之间的差异。

我准备使用后一种方法编写一个新的网络爬虫，但是因为我在使用规则的过去项目中遇到了不好的经历。我真的很想知道我在做什么以及为什么。

有谁熟悉这个工具？

感谢您的帮助！

Answer 1

CrawlSpider继承BaseSpider。它只是添加了提取和关注链接的规则。如果这些规则对您来说不够灵活 - 请使用BaseSpider：

class USpider(BaseSpider):
    """my spider. """

    start_urls = ['http://www.amazon.com/s/?url=search-alias%3Dapparel&sort=relevance-fs-browse-rank']
    allowed_domains = ['amazon.com']

    def parse(self, response):
        '''Parse main category search page and extract subcategory search link.'''
        self.log('Downloaded category search page.', log.DEBUG)
        if response.meta['depth'] > 5:
            self.log('Categories depth limit reached (recursive links?). Stopping further following.', log.WARNING)

        hxs = HtmlXPathSelector(response)
        subcategories = hxs.select("//div[@id='refinements']/*[starts-with(.,'Department')]/following-sibling::ul[1]/li/a[span[@class='refinementLink']]/@href").extract()
        for subcategory in subcategories:
            subcategorySearchLink = urlparse.urljoin(response.url, subcategorySearchLink)
            yield Request(subcategorySearchLink, callback = self.parseSubcategory)

    def parseSubcategory(self, response):
        '''Parse subcategory search page and extract item links.'''
        hxs = HtmlXPathSelector(response)

        for itemLink in hxs.select('//a[@class="title"]/@href').extract():
            itemLink = urlparse.urljoin(response.url, itemLink)
            self.log('Requesting item page: ' + itemLink, log.DEBUG)
            yield Request(itemLink, callback = self.parseItem)

        try:
            nextPageLink = hxs.select("//a[@id='pagnNextLink']/@href").extract()[0]
            nextPageLink = urlparse.urljoin(response.url, nextPageLink)
            self.log('\nGoing to next search page: ' + nextPageLink + '\n', log.DEBUG)
            yield Request(nextPageLink, callback = self.parseSubcategory)
        except:
            self.log('Whole category parsed: ' + categoryPath, log.DEBUG)

    def parseItem(self, response):
        '''Parse item page and extract product info.'''

        hxs = HtmlXPathSelector(response)
        item = UItem()

        item['brand'] = self.extractText("//div[@class='buying']/span[1]/a[1]", hxs)
        item['title'] = self.extractText("//span[@id='btAsinTitle']", hxs)
        ...

即使BaseSpider的start_urls不够灵活，也可以覆盖start_requests方法。

Answer 2

如果您想要选择性抓取，例如为分页等提取“下一步”链接，最好编写自己的抓取工具。但对于一般抓取，您应该使用crawlspider并过滤掉您不需要遵循的规则＆amp; process_links功能。

看一下\scrapy\contrib\spiders\crawl.py中的crawlspider代码，它并不复杂。

以下链接，Scrapy web crawler框架

2 个答案: