scrapy和crawlspider的全新内容..我一直坚持如何定义嵌套抓取的规则? 我定义为
的规则Rule(LinkExtractor(
allow=(),
restrict_xpaths='//div[@class="sch-main-menu-sub-links-left"]'
), callback='parse_item', follow=True)
它抓取类别页面,然后,从此规则中提取的每个类别页面,我都要使用规则抓取该页面上的所有产品
Rule(LinkExtractor(
allow=(),
restrict_xpaths='div[@class="sch-category-products-item"]'
), callback='parse_product', follow=True)
类别页面也是分页的。但我还没有开始如何做到这一点。第一条规则是成功但在哪里放置第二条规则?在CrawlSpider中有什么方法可以定义规则级别吗?