Scrapy在<button rel =“ next”>上爬行

Question

我正在使用Scrapy来爬行kogan.com上的数据 “下一页”是具有rel="next"属性而没有href的按钮。此外，我尝试将页码手动添加到url，但是page号仅限于page=10，并且无法继续使用（>10）。例如，我键入page=11，url保留在page=10中。因此，我认为这是该网站的防草率机制吗？页数超过10的唯一方法是单击<button>。 以下是我正在抓取的链接。 https://www.kogan.com/au/shop/phones/?page=10

<button class="_11Gvc wJWlF" rel="next"><span>View more</span></button>

Answer 1

该网站具有相当不错的API，因此您可以改用它。检查开发人员工具中的链接：

{{1}}

因此，您可以循环浏览所有页面，更改{{1}}并获取所有可用项目。