如何获取网页内容？

Question

  

可能重复：
  Reading web page by sending username & password?

我的问题是这个。有一个网站的数据经常更新，我希望定期获取以供以后报告。

获取该数据我必须提供用户ID和密码。

我使用HttpWebRequest来获取数据，但问题是响应文本返回“您的浏览器不支持帧”而不是我想要的数据。

我怎么能得到它？

Answer 1

您很可能遇到此问题，因为您没有在请求中设置用户代理，即使用WebClient：

using(WebClient wc = new WebClient())
{
    wc.Headers.Add("user-agent", "Mozilla/5.0 (Windows; Windows NT 5.1; rv:1.9.2.4) Gecko/20100611 Firefox/3.6.4");
    string htmlResult = wc.DownloadString(someUrl);
}

Answer 2

您可以使用WebBrowser控制来解决您的问题。这种方法的工作原理如下：首先，您需要将特定网页加载到WebBrowser控件上，然后将文档加载到loaded or not。如果已加载，则可以使用DocumentStream属性检索网页流。

希望这有帮助。