HttpWebRequest使用分块数据很慢

时间:2013-08-27 12:30:52

标签: c# .net http web

我正在使用HttpWebRequest连接到我内部构建的HTTP服务器。我的问题是它比通过PostMan(https://chrome.google.com/webstore/detail/postman-rest-client/fdmmgilgnpjigdojojpjoooidkmcomcm?hl=en)连接到服务器要慢得多,后者可能使用Chrome中的内置函数来请求数据。

服务器是在MSDN(http://msdn.microsoft.com/en-us/library/dxkwh6zw.aspx)上使用此示例构建的,并使用64的缓冲区大小。请求是一个HTTP请求,其中包含一些数据。

当通过PostMan连接时,请求被分成一堆块,并且多次调用BeginRecieve(),每次接收64B并花费大约2毫秒。除了最后一个,收到少于64B。

但是当使用HttpWebRequest与我的客户端连接时,第一个BeginRecieve()回调接收64B并且大约需要1毫秒,以下只接收47B并花费大约200毫秒,最后第三个接收大约58B并花费2毫秒。

第二个BeginRecieve有什么用?我注意到,一旦我开始将数据写入HttpWebRequest输入流,就建立了连接,但是在我调用GetResponse()之前,数据接收才开始。

这是我的HttpWebRequest代码:

var request = (HttpWebRequest)WebRequest.Create(url);

request.Method = verb;
request.Timeout = timeout;
request.Proxy = null;
request.KeepAlive = false;
request.Headers.Add("Content-Encoding", "UTF-8");
System.Net.ServicePointManager.Expect100Continue = false;
request.ServicePoint.Expect100Continue = false;

if ((verb == "POST" || verb == "PUT") && !String.IsNullOrEmpty(data))
{
    var dataBytes = Encoding.UTF8.GetBytes(data);

    try
    {
        var dataStream = request.GetRequestStream();
        dataStream.Write(dataBytes, 0, dataBytes.Length);
        dataStream.Close();
    }
    catch (Exception ex)
    {
        throw;
    }

}

WebResponse response = null;
try
{
    response = request.GetResponse();
}
catch (Exception ex)
{
    throw;
}

var responseReader = new StreamReader(rStream, Encoding.UTF8);
var responseStr = responseReader.ReadToEnd();

responseReader.Close();
response.Close();

我做错了什么?为什么它的行为与来自Web浏览器的HTTP请求的行为有很大不同?这实际上为我的应用程序增加了200ms的延迟。

4 个答案:

答案 0 :(得分:4)

这看起来像Nagle algorithmTCP Delayed Acknowledgement冲突的典型案例。在你的情况下,你发送一个小的Http请求(根据你的号码约170字节)。这可能小于MSS(最大段大小),这意味着Nagle算法将启动。服务器可能延迟ACK,导致延迟高达500毫秒。有关详细信息,请参阅链接。

您可以通过ServicePointManager.UseNagleAlgorithm = false停用Nagle(在发出第一个请求之前),请参阅MSDN

另见Nagle’s Algorithm is Not Friendly towards Small Requests详细讨论,包括Wireshark分析。

注意:在您的回答中,当您执行write-write-read时,您遇到了相同的情况。当您切换到写入读取时,您可以解决此问题。但是我不相信你可以指示HttpWebRequest(或HttpClient)将小请求作为单个TCP写操作发送。在某些情况下,这可能是一个很好的优化。虽然它可能会导致一些额外的阵列复制,从而对性能产生负面影响。

答案 1 :(得分:3)

200ms是Nagle算法的典型延迟。这引起怀疑服务器或客户端正在使用Nagling。你说你使用MSDN的样本作为服务器......那么你去吧。使用适当的服务器或禁用Nagling。

假设内置的HttpWebRequest类有不必要的200ms延迟是不太可能的。看别处。查看您的代码以找到问题。

答案 2 :(得分:2)

似乎HttpWebRequest真的很慢。

有趣的是:我使用套接字实现了自己的HTTP客户端,我发现了HttpWebRequest为什么这么慢的线索。如果我将我的ASCII标头编码到它自己的字节数组并在流上发送它们,然后是从我的数据编码的字节数组,我的基于套接字的HTTP客户端就像HttpWebRequest一样:首先它用一个数据填充一个缓冲区(部分标题),然后它部分地使用另一个缓冲区(标题的其余部分),等待200毫秒,然后发送其余的数据。

代码:

TcpClient client = new TcpClient(server, port);
NetworkStream stream = client.GetStream();

// Send this out
stream.Write(headerData, 0, headerData.Length);
stream.Write(bodyData, 0, bodyData.Length);
stream.Flush();

解决方案当然是在将两个字节数组发送到流上之前附加它们。我的应用程序现在表现得很好。

具有单个流的代码写:

TcpClient client = new TcpClient(server, port);
NetworkStream stream = client.GetStream();

var totalData = new byte[headerBytes.Length + bodyData.Length];
Array.Copy(headerBytes,totalData,headerBytes.Length);
Array.Copy(bodyData,0,totalData,headerBytes.Length,bodyData.Length);

// Send this out
stream.Write(totalData, 0, totalData.Length);
stream.Flush();

HttpWebRequest似乎在写入请求流之前发送了头文件,所以它可能有点像我的第一个代码示例。这有意义吗?

希望这对有同样问题的人有帮助!

答案 3 :(得分:0)

试试这个:你需要处理你的IDisposables:

var request = (HttpWebRequest)WebRequest.Create(url);

request.Method = verb;
request.Timeout = timeout;
request.Proxy = null;
request.KeepAlive = false;
request.Headers.Add("Content-Encoding", "UTF-8");
System.Net.ServicePointManager.Expect100Continue = false;
request.ServicePoint.Expect100Continue = false;

if ((verb == "POST" || verb == "PUT") && !String.IsNullOrEmpty(data))
{
    var dataBytes = Encoding.UTF8.GetBytes(data);

    using (var dataStream = request.GetRequestStream())
    {
        dataStream.Write(dataBytes, 0, dataBytes.Length);
    }
}

string responseStr;
using (var response = request.GetResponse())
{
    using (var responseReader = new StreamReader(rStream, Encoding.UTF8))
    {
        responseStr = responseReader.ReadToEnd();
    }
}