Question

我正在努力从多个网站上抓取项目（使用scrapy进行相同的处理）。我试图抓取的项目并不总是很明确，可能在文本中。所以我使用字符串匹配来识别项目。但是，这也会产生一些不需要的信息以及我需要的数据，而我的刮刀需要很长时间才能收集不需要的信息。为了避免这种情况，我已经对刮下的物品数量设置了上限。通过使用＆＃34; if＆＃34; condition，我在达到上限时引发CloseSpider（）异常。这种方法运行良好，直到我只有一个域刮。如何为多个域扩展它。

class CustomSpider(CrawlSpider):
name = "myspider"
start_urls = ['https://www.example1.com/']
allowed_domains = ['www.example1.com']
rules = [Rule(LinkExtractor(allow=()), callback='parse_info', follow = True)]

def parse_info(self, response):
    scrape_count = self.crawler.stats.get_value('item_scraped_count')
    if scrape_count == 20:
        raise CloseSpider("Limit Reached")

我的问题是，如何针对以下场景扩展此代码：

class CustomSpider(CrawlSpider):
name = "myspider"
start_urls = ['https://www.example1.com/', 'https://www.example2.com/']
allowed_domains = ['www.example1.com', 'www.example2.com/']
rules = [Rule(LinkExtractor(allow=()), callback='parse_info', follow = True)]

def parse_info(self, response):

建议改变逻辑

    scrape_count = self.crawler.stats.get_value('item_scraped_count')
    if scrape_count == 20:
        raise CloseSpider("Limit Reached")

Answer 1

请参阅此玩具示例：

from __future__ import print_function

import collections
try:
    from urllib.urlparse import urlsplit
except ImportError:
    from urlparse import urlsplit

from scrapy.linkextractors import LinkExtractor
from scrapy.spiders import CrawlSpider, Rule


class MySpider(CrawlSpider):
    name = 'myspider'
    start_urls = ['http://quotes.toscrape.com/',
                  'http://webscraper.io/test-sites']
    allowed_domains = ['quotes.toscrape.com', 'webscraper.io']

    scraped_count = collections.defaultdict(int)
    limit = 10

    rules = [Rule(LinkExtractor(allow=()), callback='parse_page',
                  follow=True, process_request='process_request')]

    def parse_page(self, response):
        yield {
            'url': response.url
        }

    def process_request(self, request):
        url = urlsplit(request.url)[1]
        if self.scraped_count[url] < self.limit:
            self.scraped_count[url] += 1
            return request
        else:
            print('Limit reached for {}'.format(url))

它会跟踪属性scraped_count中每个域抓取的项目数。属性limit包含每个域的限制。逻辑放在process_request方法中，作为CloseSpider的参数传递，并为该规则提取的每个请求调用（参见文档）。当你超过限制时，请求被过滤，否则它将保持不变并被处理。

如果您需要更复杂或适用于多个蜘蛛的内容，我建议您扩展https://web.archive.org/web/扩展类，在那里实现逻辑并替换settings.py中的默认类。

Answer 2

您可以使用 CLOSESPIDER_ITEMCOUNT

一个整数，指定多个项目。如果蜘蛛擦伤超过该数量，这些项目由项目管道传递，将使用closespider_itemcount原因关闭蜘蛛。当前位于下载程序队列中的请求（最多为 CONCURRENT_REQUESTS个请求仍在处理中。如果为零（或非设置），蜘蛛不会被传递的项目数量关闭。

如何限制scrapy中每个域抓取的项目数量？

2 个答案: