如何在C#中获取网页的完整源代码?

时间:2016-10-06 19:35:36

标签: c# html web-scraping webpage

我正在开展一个小项目,它涉及从网站获取数据以计算内容。

我试过

    HttpWebRequest request = (HttpWebRequest)WebRequest.Create(url);
    HttpWebResponse response = (HttpWebResponse)request.GetResponse();
    StreamReader sr = new StreamReader(response.GetResponseStream());
    rtb_data.Text = sr.ReadToEnd();
    sr.Close();

但是这样,我没有得到完整的源代码,就像我在chrome上打开开发人员工具包时所做的那样(F12)。

示例:

    <div id="live-match" class="panel-container" data-match-status-code="6" data-mode="3">

我明白了:

    <div id="live-match" class="panel-container">

在那个div中有许多重要的信息,但我根本没有得到这些课程。

我不喜欢使用C#或动态网页,但由于我能够使用开发人员工具包查看真正的源代码,因此应该可以在C#中获取它,对吗?

我的最后一个解决方案是使用复制/粘贴源代码并从那里开始工作,但这会非常慢,因为我想自动计算内容。

你们有什么想法我怎么能得到完整的源代码?我是否必须临时下载内容?如果是,怎么样?

1 个答案:

答案 0 :(得分:-1)

您遇到的问题是您不需要网页的(这是您在执行简单Web请求时获得的)您似乎实际上是在DOM之后在运行时生成。

不幸的是,除非您愿意编写自己的浏览器......