在我的程序中,我检查网站是否可用,我使用此代码
HttpWebRequest request;
HttpWebResponse response;
Message = string.Empty;
string result="";
request = (HttpWebRequest)WebRequest.Create(url);
request.Timeout = 300000;
request.AllowAutoRedirect = true;
try
{
response = (HttpWebResponse)request.GetResponse();
result = response.StatusCode.ToString();
response.Close();
}
catch (Exception ex)
{
result = ex.Message;
}
我将超时设置为5分钟。当程序运行时,对于某些站点(Urls),结果是“无法连接到远程服务器”但站点可用。我怎么解决这个问题?
答案 0 :(得分:0)
某些网站限制使用无效user agent或无法识别的字符串限制来自机器人或客户端的网络请求。
因此,我建议您将用户代理调整为已知浏览器。
例如:
WebClient client = new WebClient();
// Mozilla 2.2
client.Headers.Add("user-agent", "Mozilla/5.0 (Windows; U; Windows NT 6.1; rv:2.2) Gecko/20110201");
// Safari 7.0.3
client.Headers.Add("user-agent", "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_9_3) AppleWebKit/537.75.14 (KHTML, like Gecko) Version/7.0.3 Safari/7046A194A");
有关用户代理字符串的完整列表,请查看:http://www.useragentstring.com/pages/useragentstring.php