Best Buy Web Crawler禁止错误

时间:2015-07-21 23:31:39

标签: c# web web-crawler webclient

我试图为Best Buy网站制作一个抓取工具,但是当我尝试运行DownloadString函数时,我收到了403禁用错误。我尝试过添加标题但效果仍然相同。我还运行Fiddler,看看我的浏览器发送了什么标题并在那里使用了标题。什么可能导致这个问题?

        WebClient client = new WebClient();
        client.Headers.Add("user-agent", "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/43.0.2357.134 Safari/537.36");
        client.DownloadString("http://www.bestbuy.com");

0 个答案:

没有答案