无法使用Amazon网页中的Import.io提取数据,其中数据通过Ajax加载到页面中

时间:2014-11-20 05:26:34

标签: amazon import.io

任何人都知道如何使用Import.io从网页中提取数据,其中数据通过Ajax加载到页面中。我无法从下面提到的页面中提取数据。首页数据提取没有问题。但是如何在第二页上移动并从第二页提取数据.URL如下所示。 http://www.amazon.com/gp/aag/main?ie=UTF8&asin=&isAmazonFulfilled=&isCBA=&marketplaceID=ATVPDKIKX0DER&orderID=&seller=A13JB7253Q5S1B

2 个答案:

答案 0 :(得分:2)

我设法获得静态数据集但没有API。您可以在以下GUID中找到该数据集:c7c63f1c-7081-4d4a-ad91-afe9789a6620

由于

答案 1 :(得分:2)

使用有趣的技术组合部署该页面上的数据;它严重依赖于服务器端代码和Javascript。这种类型的页面可能是一个挑战,但是,始终有获取数据的方法。例如,一些卖家有这样的页面:

http://www.amazon.co.uk/gp/node/index.html?ie=UTF8&marketplaceID=ATVPDKIKX0DER&me=A2WO1PQ2OIOIGM&merchant=A2WO1PQ2OIOIGM

即使使用魔术算法 - https://magic.import.io/?site=http:%2F%2Fwww.amazon.co.uk%2Fgp%2Fnode%2Findex.html%3Fie%3DUTF8%26marketplaceID%3DA1F83G8C2ARO7P%26me%3DA2WO1PQ2OIOIGM%26merchant%3DA2WO1PQ2OIOIGM

,也很容易从中提取数据

我必须先从网址中取消redirect = true才能使用 - 只需一个FYI。

其他时候,有些商店没有这样的网址,有点痛苦,而网址很难搞清楚。

我们帮助一些企业客户在数据对他们非常重要时构建定制的API,所以请随时与我们联系。我想更大规模的解决方法是根据您感兴趣的类别创建数据集/ API,然后按卖家名称过滤掉更大的数据集(python或CSV样式)。那可能会奏效!