HTTPWebREquest - 返回未找到WebException-错误（404）

Question

我有一个抓取程序，它抓取网址来解析html，并且自从我开始这个以来遇到了一个不寻常的错误。对于使用HTTPWebRequest和HTTPWebResponse获取时网站中的一组特定网址，我收到错误

**指远程服务器返回错误：

  

（404）Not Found **

这很不寻常，因为它在我的浏览器中粘贴它时起作用。任何想法都赞赏。不确定是否需要发布代码，但如果有，请告诉我。

Answer 1

该网站可能阻止了您的用户代理，或者可能需要Cookie。

Answer 2

远程服务器是否可以根据User-Agent提供不同的页面，并且它没有与HttpWebRequest实例提供的User-Agent值相对应的页面（默认为空）？只是一个想法，因为你说在浏览器导航到其地址而不是通过代码导航时可以找到该页面。