Scrapy中CrawlSpider的嵌套规则

时间:2018-05-25 05:03:21

标签: python-3.x scrapy web-crawler scrapy-spider

scrapy和crawlspider的全新内容..我一直坚持如何定义嵌套抓取的规则? 我定义为

的规则
Rule(LinkExtractor(
            allow=(),
            restrict_xpaths='//div[@class="sch-main-menu-sub-links-left"]'
            ), callback='parse_item', follow=True)

它抓取类别页面,然后,从此规则中提取的每个类别页面,我都要使用规则抓取该页面上的所有产品

Rule(LinkExtractor(
            allow=(),
            restrict_xpaths='div[@class="sch-category-products-item"]'
            ), callback='parse_product', follow=True)

类别页面也是分页的。但我还没有开始如何做到这一点。第一条规则是成功但在哪里放置第二条规则?在CrawlSpider中有什么方法可以定义规则级别吗?

0 个答案:

没有答案