如何查看HttpWebRequest类发送的原始HTTP请求?

时间:2010-09-27 21:25:17

标签: c# asp.net debugging proxy httpwebrequest

我知道你们都会回答“使用像Fiddler这样的调试代理服务器”,但事情并非那么简单。

这是我的情况:我有一些代码在服务器上运行,在ASP.NET页面代码隐藏(aspx.cs)中,其中(除其他外)建立了与另一个的连接服务器,抓取一些东西,然后格式化它并将其返回给浏览器。

问题是其他服务器做错了,所以我希望能够将调试标志传递到页面中(通过查询字符串,例如?debug = true),这样它就会打印出来完全原始 HTTP请求它正在发送到其他服务器,所以我可以看到什么是错误的。这段代码在几个地方运行,所以我希望能够在dev,staging或production上传递这个标志,只看到请求,而不必弄清楚生产服务器是否可以与某个存在的代理服务器通信等等。

你会认为这样做很容易,对吧?所以我觉得我疯了或者别的什么,但我查看了HttpWebRequest及其父类WebRequest的参考资料 - 什么都没有。没有办法。你会认为微软会想到这一点。最接近的是你可以访问“Headers”集合,但是当我尝试它时,它省略了一些非常重要的标题,如“内容长度” - 所以它必须“撒谎”给我(我知道它在撒谎,因为我知道因为远程服务器返回200状态 - 请求成功,它只返回错误/不同/错误的数据)

以下是问代码示例:

HttpWebRequest req = (HttpWebRequest)WebRequest.Create("http://www.whatever.com");
req.Method = ... whatever ...;
... other setup for the request ...
/* At this point we are about to send the request.
   What does the raw HTTP request look like? */
HttpWebResponse resp = (HttpWebResponse)req.GetResponse();

9 个答案:

答案 0 :(得分:120)

我意识到这是一个老问题。 @feroze's answer说明该怎么做,但没有详细说明如何设置System.Net跟踪来实现它。

由于这个问题是我对该主题进行查询的第一个Google结果,而且因为我们都是忙碌的人,所以我认为我可以帮助您解决这些问题。

System.Web对于调试HttpWebRequest功能非常强大,可以使用web.config轻松设置:

<configuration>
    <system.diagnostics>

        <trace autoflush="true" /> 

        <sources>
            <source name="System.Net" maxdatasize="1024">
                <listeners>
                    <add name="MyTraceFile"/>
                    <add name="MyConsole"/>
                </listeners>
            </source>
        </sources>

        <sharedListeners>
            <add
              name="MyTraceFile"
              type="System.Diagnostics.TextWriterTraceListener"
              initializeData="System.Net.trace.log" />
                <add name="MyConsole" type="System.Diagnostics.ConsoleTraceListener" />
        </sharedListeners>

        <switches>
            <add name="System.Net" value="Verbose" />
        </switches>

    </system.diagnostics>
</configuration>

在代码中添加一个简单的HttpWebRequest,并在Visual Studio中以调试模式运行,以下信息将显示在调试控制台中:

System.Net Verbose: 0 : [6596] WebRequest::Create(https://example.com/service.asmx)
System.Net Verbose: 0 : [6596] HttpWebRequest#62063506::HttpWebRequest(https://example.com/service.asmx#11234)
System.Net Information: 0 : [6596] RAS supported: True
System.Net Verbose: 0 : [6596] Exiting HttpWebRequest#11234::HttpWebRequest() 
System.Net Verbose: 0 : [6596] Exiting WebRequest::Create()     -> HttpWebRequest#11234
System.Net Verbose: 0 : [6596] HttpWebRequest#11234 ::GetRequestStream()
System.Net Verbose: 0 : [6596] ServicePoint#11234 ::ServicePoint(example.com:443)
System.Net Information: 0 : [6596] Associating HttpWebRequest#11234with ServicePoint#11234
System.Net Information: 0 : [6596] Associating Connection#11234 with HttpWebRequest#11234 
System.Net Information: 0 : [6596] Connection#11234 - Created connection from x.x.x.x:xx to x.x.x.x:xx.
System.Net Information: 0 : [6596] TlsStream#11234 ::.ctor(host=example.com, #certs=0)
System.Net Information: 0 : [6596] Associating HttpWebRequest#11234 with ConnectStream#11234 
System.Net Verbose: 0 : [6596] Exiting HttpWebRequest#11234 ::GetRequestStream()    -> ConnectStream#11234 
System.Net Verbose: 0 : [6596] ConnectStream#7740977::Write()
System.Net Verbose: 0 : [6596] Data from ConnectStream#11234::Write
System.Net Verbose: 0 : [6596] 00000000 : 3C 73 6F 61 70 3A 45 6E-76 65 6C 6F 70 65 0D 0A : <soap:Envelope..
...etc

我发现这在尝试找出Web服务客户端错误的原因时特别有用。原来我错过了一个标题。

答案 1 :(得分:15)

您可以使用System.Net跟踪机制查看线路上发送的原始HTTP请求。您也可以将自己的tracelistener添加到流程中。

答案 2 :(得分:5)

您可以使用wireshark等网络流量嗅探器。

这不是调试代理,但会嗅探所有流量并让您看到原始请求/响应。

答案 3 :(得分:4)

在这里回答我自己的问题,因为我想到了另一种方法。基本上这个想法是 - 你将HttpWebRequest重新指向一个记录传入的原始HTTP请求的页面。换句话说,根据此论坛帖子设置自定义HTTP处理程序:

http://forums.asp.net/t/353955.aspx

然后只更改HttpWebRequest中的URL以指向此新端点,但保持请求的所有其他元素相同。将结果写入文件或其他内容,你就是金色的。

答案 4 :(得分:2)

我建议您下载Telerik Fiddler以捕获传入/传出流量。

这里有一个简单的例子,说明如何使用该工具:

  1. 确保已启用“捕获流量”: enter image description here
  2. 打开浏览器并刷新页面,或者只通过HTTP客户端发送请求。 enter image description here
  3. 在切换到Fiddler之后,您应该看到您的请求: enter image description here
  4. 在顶部尝试浏览“原始”标签。 enter image description here
  5. 在下面的窗口中是您的原始请求 enter image description here

答案 5 :(得分:1)

另一个建议。 Implement your own web proxy,并将您的请求设置为WebRequest.Proxy。然后,您应该能够从代理实例中提取流量。

编辑:更新链接。

答案 6 :(得分:0)

你说你认为.NET对你说谎,你给出的具体例子是HTTP响应中缺少标题Content-Length

但HTTP响应不需要标头Content-Length。实际上,如果响应的主体处于任何动态状态,并且如果事先不知道其长度,则很可能会省略Content-Length标题!

答案 7 :(得分:0)

我知道这是一个老问题,但是我处在一个无法控制应用程序配置文件的困境中,因此我需要一种简单的方法来通过代码启用跟踪,然后轻松地访问原始请求/响应事件中的数据。因此,我将这个自定义类HttpRawTraceListener放在一起,它可能对其他位置合适的人有用:

https://github.com/jhilgeman/HttpRawTraceListener/blob/master/HttpRawTraceListener.cs

它的设计非常简单,只需将文件添加到项目中,然后调用:

System.Diagnostics.HttpRawTraceListener.Initialize();

...开始跟踪。从那里,将在跟踪消息中解析请求/响应,然后通过 System.Diagnostics.HttpRawTraceListener.FinishedCommunication 事件使请求/响应可用。

在每种情况下它可能都不是100%完美的(例如,它不是代理,因此它不会捕获来自浏览器的Web请求),但是它对于捕获HttpWebRequests对Web服务的请求/响应的效果很好,如果您需要这样的内容,这可能是一个很好的起点。

答案 8 :(得分:-1)

我必须遗漏一些东西,因为将原始HTTP请求作为ASCII文本获取非常简单,只要你在Page_Init()中获取它,它就会因Page_Load()而不同。

protected void Page_Init(object sender, EventArgs e)
{
    //this gets the raw request as an ASCII String.
    byte[] biData = Request.BinaryRead(Request.TotalBytes);
    string sWholeRequestAsString = System.Text.Encoding.ASCII.GetString(biData);

}