我有一个简单的功能来抓取一个网页,该网页突然从特定页面的以下代码中获得503错误:
try
{
WebClient client = new WebClient();
client.Proxy = null;
string webhtml = client.DownloadString(strURL);
client.Dispose();
return (webhtml);
}
当我在IE或FF中输入网址时,网址会正常工作,但是当此代码运行时,它会返回错误。其他网址工作正常。我猜测来自.net的http请求与来自任一浏览器的http请求有所不同。有没有办法更好地模拟基于浏览器的http请求?
感谢。
答案 0 :(得分:0)
找到了我在这个网站上寻找的http标头。非常有用。