Question

我正在尝试抓取网络上设备上托管的网页。我已经在同一网络上与其他型号设备进行了数十次这样的操作。当我浏览IE或Chrome中的页面时，它的格式正确，我看到了我期待的来源。

然而，当我尝试在.Net中读取响应流或尝试在Fiddler中运行它时，我获得了看起来像Javascript和会话生成脚本的源代码而不是我关心的数字。

我认为此页面现在正在点击javascript驱动的登录页面，回拨打印机，然后格式化并输出回我的浏览器。我认为我的不同之处在于来自Fiddler和.Net GetResponseStream（）调用内部的调用不会让javascript做他们需要的东西来获取所有数据。

样品

            WebRequest ConReq = WebRequest.Create(consumablePage);
            WebRequest UseReq = WebRequest.Create(usagePage);
            ConReq.Timeout = 15000;
            UseReq.Timeout = 20000;
            WebResponse ConResp = ConReq.GetResponse();
            WebResponse UseResp = UseReq.GetResponse();

            Stream Constream = ConResp.GetResponseStream();
            StreamReader Consr = new StreamReader(Constream);

            Stream Usestream = UseResp.GetResponseStream();
            StreamReader Usesr = new StreamReader(Usestream);

            string conRead = Consr.ReadToEnd();
            string useRead = Usesr.ReadToEnd();

最后，conRead和useRead都包含：

"<html>\r\n<head>\r\n<script language=\"JavaScript\" type=\"text/javascript\">\r\n<!-- \r\nfunction SetCookie ( inCookieName, inCookieValue, inCookieExpiration)\r\n{\r\n\tdocument.cookie\t\t= inCookieName + \"=\" + escape( inCookieValue ) + \r\n\t\t\t\t\t\t\t( inCookieExpiration ? \"; expires=\" + getExpiryDate(inCookieExpiration) : \"\" ) + \r\n\t\t\t\t\t\t\t\t\"; path=/\";\r\n}\r\n\r\nfunction getExpiryDate(nodays)\r\n{\r\n\tvar UTCstring;\r\n\tToday = new Date();\r\n\tnomilli=Date.parse(Today);\r\n\tToday.setTime(nomilli+nodays*24*60*60*1000);\r\n\tUTCstring = Today.toUTCString();\r\n\treturn UTCstring;\r\n}\r\n\r\nfunction generateSessionID()\r\n{\r\n\tvar \tgetTcpIpAddr = \"10.210.13.138\";\r\n\tvar  SESSION_ID =\"SESSION_ID\";\r\n\tvar ipArray = getTcpIpAddr.split(\".\");\r\n\tvar ip = parseInt(ipArray[0], 10) + parseInt(ipArray[1], 10) + parseInt(ipArray[2], 10) + parseInt(ipArray[3], 10);\r\n\tvar d = new Date();\r\n\tID = parseInt((d.getMilliseconds()*ip)/32, 10);\r\n\tSetCookie(SESSION_ID, ID,365);\t//365 - expiry date is 1 year\r\n\twindow.location=window.location.toString();\r\n}\r\n-->\r\n</script>\r\n</head>\r\n<body onLoad=\"generateSessionID()\">\r\n</body>\r\n</html>\r\n"

此图片是Fiddler GET的示例，以及同一页面的IE实例。请注意，Fiddler响应仅为1075K，IE响应为6602K。

如何在.Net中获得完全解析的响应流？

在抓取和查看时，网页提供两组不同的输出

0 个答案: