我正在尝试在亚马逊上获取大量产品的一些数据。 有谁知道如何获得亚马逊的整个产品ID? 例如,“B00TSUGXKE”是Amazon Fire的产品ID。
如果没有包含所有产品ID的地方,我可以采用什么方式为每个产品ID进行抓取?
答案 0 :(得分:-1)
由于您没有提供任何代码,我会告诉您如何在不提供代码的情况下执行此操作。
您可以使用CrawlSpider
并从here开始。这是一个包含按类别排序的所有项目的列表。
项目链接中通常包含/product/
,因此您有一条规则可以开始废弃项目页面。
在此之前,我会检查他们的ToS!