爬行蜘蛛不会进入下一页

时间:2017-07-03 11:55:16

标签: python web-crawler scrape

我在http://www.ulta.com/makeup-eyes-eyebrows?N=26yi抓取所有产品详情。我的规则复制如下。我只从第一页获得数据,但没有进入下一页。

active

任何人都可以帮我吗?

1 个答案:

答案 0 :(得分:0)

使用CrawlSpider,它会自动抓取到其他页面,否则, 蜘蛛,你需要手动传递其他链接

stop()

而不是

 class Scrapy1Spider(CrawlSpider):

请参阅:Scrapy crawl with next page