Scrapy不会爬过网站

Question

我有共同的陷阱，无法摆脱它：我的Scrapy蜘蛛非常懒，所以它是，它只能解析start_urls。代码如下：

import scrapy

from scrapy.spiders import Rule
from scrapy.linkextractors import LinkExtractor
from scrapy.item import Field
from scrapy.selector import Selector

class HabraPostSpider(scrapy.Spider):
    name = 'habrapost'
    allowed_domains = ['habrahabr.ru']
    start_urls = ['https://habrahabr.ru/interesting/']


    def parse(self, response):
        self.logger.info('A response from %s just arrived!', response.url)


    rules = (Rule(LinkExtractor()),
            Rule(LinkExtractor(allow=('/post/'),),callback='parse_post',follow= True))

如果有人能说出如何修理我的蜘蛛，我会很高兴的！

Answer 1

你的英语完全被打破，但我在理解之间阅读的内容是你希望抓取工具进入它看到的每个链接。

为此，您必须使用CrawlSpider代替Spider

class HabraPostSpider(scrapy.spiders.CrawlSpider)

检查the documentation。