产品价格比较脚本

Question

您将如何构建价格比较脚本？我知道亚马逊提供了一个公共API，但我看到这两个网站goodreads，bookdope比较了图书价格，从沃尔玛检索价格和其他不提供API的网站。如何从没有API的网站获得价格？

我正在使用C＃和ASP.NET MVC。

Answer 1

如果网站没有提供API，那么您需要执行所谓的屏幕抓取。您获得了页面的HTML，并且您的程序会从中提取信息。

这有效，但要注意这些问题。

公司不喜欢你这样做。如果他们希望您获得他们提供API的信息。他们甚至可能会从您的特定位置检测到大量的点击并阻止您。

最重要的是，该页面专为人类在浏览器中阅读而设计。他们可以随时更改它，因此您的应用程序可能会失败。