你如何访问亚马逊类别列表的第101页

Question

我想访问亚马逊内部给定类别中的所有项目，但似乎类别页面是通过搜索生成的。将页面搜索参数提取到URL中只会将您带到第100页。有没有办法超越它？这是一个示例url for books

Answer 1

使用ajax XHR调用动态加载内容。

长话短说：

• 打开浏览器开发工具
• 打开网络标签
• 点击亚马逊上的页面链接
• 请参阅XHR请求http://www.amazon.com/mn/search/ajax/ref=sr_pg_3... - 这是您应该在Scrapy蜘蛛中调用的内容（返回JSON）

所以，基本上，你应该只调用这个XHR请求100次（或者找出你是否可以将它们全部合并到一起）。

有用的链接：

• Can scrapy be used to scrape dynamic content from websites that are using AJAX?
• Pagination using scrapy

注意：

• 亚马逊将搜索结果限制为100页
• 您可以尝试亚马逊API 而不是直接刮网站。看到 Amazon API library for Python?。

希望有所帮助。