404 - 未找到。但浏览器可以读取网址

Question

在我的ASP.Net应用程序中，我按如下方式打开对URL的请求：

webRequest = WebRequest.Create(url);
response = webRequest.GetResponse();

但GetResponse会返回以下异常：

The remote server returned an error: (404) Not Found.

该网址确实存在。如果我复制网址并在浏览器中输入，则会显示该网页。可能导致此异常的原因是什么？

Answer 1

取决于网址。

某些网站已配置好，如果他们没有获得认可的用户代理，他们会认为该网站正在被未经授权的机器人抓取，并且会返回403 Forbidden或404 Not Found，具体取决于站点。