标签: python web-crawler scrape
我在http://www.ulta.com/makeup-eyes-eyebrows?N=26yi抓取所有产品详情。我的规则复制如下。我只从第一页获得数据,但没有进入下一页。
active
任何人都可以帮我吗?
答案 0 :(得分:0)
使用CrawlSpider,它会自动抓取到其他页面,否则, 蜘蛛,你需要手动传递其他链接
stop()
而不是
class Scrapy1Spider(CrawlSpider):
请参阅:Scrapy crawl with next page