scrapy.crawler和scrapy.spider之间的区别？

Question

我是Scrapy的新手，对爬虫和蜘蛛很困惑。似乎他们都可以抓取网站并解析项目。

有一个 Crawler 类（/usr/local/lib/python2.7/dist-packages/scrapy/crawler.py）和一个 CrawlerSpider 类（/ Scrapy中的usr / local / lib / python2.7 / dist-packages / scrapy / contrib / spiders / crawl.py）。有谁能告诉我他们之间的区别？我应该在什么条件下使用哪一个？

提前多多感谢！

Answer 1

CrawlerSpider是BaseSpider的子类：如果您希望蜘蛛根据“规则”列表跟踪链接，则需要扩展这些调用。 “Crawler”是CrawlerProcess子类的主要爬虫。 您将不得不在您的蜘蛛中对CrawlerSpider进行子类化，但我认为您不必触摸Crawler。