如何绕过亚马逊搜索结果400页限制？

Question

我目前正在开发一个webscraper，它应该从亚马逊上的整个类别中提取所有项目的描述。我正在用Python编写这个脚本 - Selenium - PhantomJS驱动程序。如何绕过400页限制？

Answer 1

亚马逊不会在他的API中提供对此数据的访问权限。他们只有“卖家”（非标准卖家）的信息，并且与他自己的销售，运输或产品相关（您可以在Amazon marketplace Feed API page中找到信息）。

我能找到的唯一方法就是遍历类别页面。 要做到这一点，你必须从你感兴趣的页面类别开始，检索描述，价格......并使用你的webscraper搜索ID为“pagnNextLink”的元素。然后加载下一页并重复该过程，直到找不到此元素。

并且请注意，您必须逐个迭代此页面（您无法跳转到更改链接中参数“sr_pg_”的不同页面），因为Amazon在链接中包含对会话的引用并生成此链接在每个新页面中。