如何检索和解析从URL返回的html?

时间:2013-05-09 20:24:25

标签: html razor html-parsing screen-scraping amazon-cloudfront

我希望能够以编程方式(不在浏览器中显示)发送诸如http://www.amazon.com/s/ref=nb_sb_noss_1?url=search-alias%3Daps&field-keywords=platypi&sprefix=platypi%2Caps&rh=i%3Aaps%2Ck%3Aplatypi之类的URL并返回字符串(或更合适的数据类型?)页面的html结果(有趣的部分,无论如何)所以我可以解析它并重新格式化它的选定部分作为匹配的文本和图像(链接到适当的页面)。我想用Razor /网页做这个,如果这有任何区别。

IOW,这是一个屏幕刮痧的问题,但实际上是一个“幕后”的刮擦。

有可能吗?怎么样?答案奖励将获得100分的答案奖励。

1 个答案:

答案 0 :(得分:3)

使用WebClient类(或.Net 4.5的更好HttpClient类)下载HTML,然后使用HTML AgilityPack解析它