Question

我需要创建一个用户可配置的网络蜘蛛/爬虫，我正在考虑使用Scrapy。但是，我无法对域进行硬编码并允许使用URL正则表达式：es - 这可以在GUI中进行配置。

我如何（尽可能简单）使用Scrapy创建一个蜘蛛或一组蜘蛛，其中域和允许的URL regex：es是可动态配置的？例如。我将配置写入文件，蜘蛛以某种方式读取它。

Answer 1

警告：这个答案适用于Scrapy v0.7，蜘蛛管理器api从此改变了很多。

覆盖默认的SpiderManager类，从数据库或其他地方加载自定义规则，并使用您自己的规则/正则表达式和domain_name实现自定义蜘蛛

在mybot / settings.py中：

SPIDER_MANAGER_CLASS = 'mybot.spidermanager.MySpiderManager'

在mybot / spidermanager.py中：

from mybot.spider import MyParametrizedSpider

class MySpiderManager(object):
    loaded = True

    def fromdomain(self, name):
        start_urls, extra_domain_names, regexes = self._get_spider_info(name)
        return MyParametrizedSpider(name, start_urls, extra_domain_names, regexes)

    def close_spider(self, spider):
        # Put here code you want to run before spiders is closed
        pass

    def _get_spider_info(self, name):
        # query your backend (maybe a sqldb) using `name` as primary key, 
        # and return start_urls, extra_domains and regexes
        ...
        return (start_urls, extra_domains, regexes)

现在你的自定义蜘蛛类，在mybot / spider.py中：

from scrapy.spider import BaseSpider

class MyParametrizedSpider(BaseSpider):

    def __init__(self, name, start_urls, extra_domain_names, regexes):
        self.domain_name = name
        self.start_urls = start_urls
        self.extra_domain_names = extra_domain_names
        self.regexes = regexes

     def parse(self, response):
         ...

注意：

如果您想利用其规则系统
运行蜘蛛使用：./scrapy-ctl.py crawl <name>，其中name传递给SpiderManager.fromdomain，是从后端系统检索更多蜘蛛信息的关键
由于解决方案会覆盖默认的SpiderManager，编码经典蜘蛛（每个SPIDER的python模块）不起作用，但是，我认为这对您来说不是问题。有关默认蜘蛛经理TwistedPluginSpiderManager

Answer 2

您需要的是动态创建蜘蛛类，将您最喜欢的通用蜘蛛类子类化为由scrapy（CrawlSpider子类添加的rules或XmlFeedSpider提供的，当你从GUI（或配置文件）中获取或推断出它们时，添加domain_name，start_urls，可能还有extra_domain_names（和/或start_requests()等）或者其他什么）。

Python可以轻松地执行类对象的动态创建;一个非常简单的例子可能是：

from scrapy import spider

def makespider(domain_name, start_urls,
               basecls=spider.BaseSpider):
  return type(domain_name + 'Spider',
              (basecls,),
              {'domain_name': domain_name,
               'start_urls': start_urls})

allspiders = []
for domain, urls in listofdomainurlpairs:
  allspiders.append(makespider(domain, urls))

这为您提供了一个非常简单的蜘蛛类列表 - 您可能希望在实例化之前向它们添加parse方法。品尝季节......; - ）。

Answer 3

domo无耻的自我推销！你需要为你的项目实例化示例中给出的爬虫。

此外，您还需要在运行时配置爬网程序，这只是将配置传递给爬网程序，并在配置更改时覆盖运行时的设置。

Answer 4

现在，为这些目的配置scrapy非常容易：

关于要访问的第一个网址，您可以使用-a将其作为蜘蛛通话中的属性传递，并使用start_requests功能设置如何启动蜘蛛
您无需为蜘蛛设置allowed_domains变量。如果您不包含该类变量，则蜘蛛将能够允许每个域。

它最终应该是：

class MySpider(Spider):

    name = "myspider"

    def start_requests(self):
        yield Request(self.start_url, callback=self.parse)


    def parse(self, response):
        ...

你应该用：

scrapy crawl myspider -a start_url="http://example.com"

在一些网站上使用一个Scrapy蜘蛛

4 个答案: