是否有方法或甚至可以使用URL获取产品详细信息。假设我从Walmart Or bestbuy这样的商店粘贴产品的URL,是否可以写一些东西来检索产品信息(价格,名称,信息等)。这是否存在?或者这必须是我可以为每个特定商店编写的特定于站点的东西吗?
答案 0 :(得分:2)
我看到的一个解决方案是解析URL重定向到的页面的HTML代码,例如使用Tika,但我不确定有问题的电子商务网站会非常喜欢{{1}也许您可以询问他们是否已实施API来访问其产品数据?
答案 1 :(得分:1)
是的,有可能,但由于same-origin-policy而未使用JavaScript。您必须将该URL发送到服务器,在服务器端读取该外部页面并将结果返回给服务器。
在服务器端(使用您使用的任何语言)下载网页,解析(如果可以,请使用xml / xpath)并提取相关信息。
正如已经提到的那样,一些网站禁止这种访问(称为网络报废),其他网站可能会积极尝试阻止这种情况,例如:通过发现假客户端。
答案 2 :(得分:1)
你所谈论的是网站抓取,是的,它是可能的,并且有很多工具可以帮助你。有些网站对你这么做不满意。
您可以在C#中使用HttpWebRequest类从URL请求数据,然后使用XmlReader或http://html-agility-pack.net/
等解析它