Question

我需要一种轻微/快速的方式来下载页面的html内容。比我能抓住它的元标记。这是我的实际代码：

HttpWebRequest request = WebRequest.Create(resoruce_url) as HttpWebRequest;
request.UserAgent = Request.UserAgent;

try
{
    using (WebResponse response = request.GetResponse())
    {
        using (var reader = new StreamReader(response.GetResponseStream()))
        {
            var objectText = reader.ReadToEnd();
            Response.Write(objectText);
        }
    }
}
catch (Exception e) { Response.Write(e.Message); }

问题是它不支持“Javascript”作为请求，所以带有一些控件的页面，我只是得到<noscript> html代码。

我该怎么办？我不能做客户端，因为请求的页面不在同一个域中。所以唯一的方法是服务器端。

有人说使用WebBrowser，但我知道它是一种“浏览器模拟器”，需要很多资源。我只需要一个轻微的解决方案。有什么建议吗？

Answer 1

WebClient怎么样？

实施起来非常简单。看到： http://www.hanselman.com/blog/HTTPPOSTsAndHTTPGETsWithWebClientAndCAndFakingAPostBack.aspx

Answer 2

查看PhantomJS，这是一个可编写脚本且可移植的“无头”基于WebKit的浏览器。我不确定它使用的资源少于IE的WebBrowser控件。

如何使用Javascript支持加载页面服务器页面

2 个答案: