从网站上阅读内容

时间:2014-10-18 18:41:31

标签: .net

我想检索&存储来自网站的信息。该网站是在线购物网站。想要根据实际链接更新说明,奖品。我如何使用.net(我认为Windows应用程序将适用于相同的。)

我尝试了下面的代码,但总是得到异常

"远程服务器返回错误:(500)内部服务器错误。"
url = ds.Tables[0].Rows[i]["url"].ToString();
var webClient = new WebClient();.

示例网址为http://www.flipkart.com/royal-son-what0355-wayfarer-sunglasses/p/itmeyx9ymutgg7k7?pid=SGLEYX9YDYFYAZAE&otracker=hp_mod_lifestyle_new-arrivals_prd_img

1 个答案:

答案 0 :(得分:1)

您可能希望在使用webclient加载网站之前在webclient上设置用户代理。

见下文。我已经将用户代理字符串用于chrome 37

var str = "http://www.flipkart.com/royal-son-what0355-wayfarer-sunglasses/p/itmeyx9ymutgg7k7?pid=SGLEYX9YDYFYAZAE&otracker=hp_mod_lifestyle_new-arrivals_prd_img";

    var client = new WebClient();

    client.Headers.Add("user-agent","Mozilla/5.0 (Windows NT 6.3; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/37.0.2049.0 Safari/537.36");

    var ret  = client.DownloadString(new Uri(str));

如果您对"刮刮"感兴趣您希望使用HtmlAgilityPack等工具来帮助您实现此目的。