Question

我编写了一个多线程网络爬虫程序，它使用数百个线程每秒执行大量并发httpwebrequests，该应用程序运行良好，但有时（随机）其中一个webrequest挂起在getResponseStream（）上完全忽略了超时（当我同时执行数百个请求时会发生这种情况）使得爬行过程永远不会结束，奇怪的是，对于fiddler这种情况永远不会发生且应用程序永远不会挂起，因此它很难调试，因为它是随机发生的。

我试图设置

Keep-Alive = false

ServicePointManager.SecurityProtocol = SecurityProtocolType.Ssl3;

但是我仍然会得到奇怪的行为，任何想法？

由于

HttpWebRequest代码：

  public static string RequestHttp(string url, string referer, ref CookieContainer cookieContainer_0, IWebProxy proxy)
    {
        string str = string.Empty;
        HttpWebRequest request = (HttpWebRequest)WebRequest.Create(url);
        request.AutomaticDecompression = DecompressionMethods.Deflate | DecompressionMethods.GZip;
        request.UserAgent = randomuseragent();
        request.ContentType = "application/x-www-form-urlencoded";
        request.Accept = "*/*";
        request.CookieContainer = cookieContainer_0;
        request.Proxy = proxy;
        request.Timeout = 15000;
        request.Referer = referer;
        //request.ServicePoint.MaxIdleTime = 15000;
        using (HttpWebResponse response = (HttpWebResponse)request.GetResponse())
        {
            using (Stream responseStream = response.GetResponseStream())
            {
                List<byte> list = new List<byte>();
                byte[] buffer = new byte[0x400];
                int count = responseStream.Read(buffer, 0, buffer.Length);
                while (count != 0)
                {
                    list.AddRange(buffer.ToList<byte>().GetRange(0, count));
                    if (list.Count >= 0x100000)
                    {
                        break;
                    }
                    count = 0;
                    try
                    {
           HERE IT HANGS SOMETIMES --->             count = responseStream.Read(buffer, 0, buffer.Length);
                        continue;
                    }
                    catch
                    {
                        continue;
                    }
                }
                //responseStream.Close();
                int num2 = 0x200 * 0x400;
                if (list.Count >= num2)
                {
                    list.RemoveRange((num2 * 3) / 10, list.Count - num2);
                }
                byte[] bytes = list.ToArray();
                str = Encoding.Default.GetString(bytes);
                Encoding encoding = Encoding.Default;
                if (str.ToLower().IndexOf("charset=") > 0)
                {
                    encoding = GetEncoding(str);
                }
                else
                {
                    try
                    {
                        encoding = Encoding.GetEncoding(response.CharacterSet);
                    }
                    catch
                    {
                    }
                }
                str = encoding.GetString(bytes);
               // response.Close();
            }
        }
        return str.Trim();
    }

Answer 1

Timeout属性＆＃34;获取或设置GetResponse和GetRequestStream方法的超时值（以毫秒为单位）。＆＃34;默认值为100,000毫秒（100秒）。

ReadWriteTimeout属性，＆＃34;获取或设置写入或读取流时的超时（以毫秒为单位）。＆＃34;默认值为300,000毫秒（5分钟）。

您正在设置Timeout，但保留默认值为ReadWriteTimeout，因此您的阅读最多可能需要五分钟才会超时。您可能希望将ReadWriteTimeout设置为较低的值。您还可以考虑限制下载的数据大小。有了我的抓取工具，我有时会偶然发现一个无休止的流，最终会导致内存不足异常。

抓取时我注意到的其他事情是，有时关闭响应流会挂起。我发现如果我想在读取整个流之前退出，我必须调用request.Abort来可靠地终止请求。

Answer 2

您提供的代码中没有任何明显的内容。

你为什么评论response.Close（）？

文档提示如果未明确关闭，连接可能会耗尽。处理的响应可能会关闭连接，但我认为只是释放所有资源并不是最佳的。关闭响应也将关闭流，以便覆盖。

没有超时的系统挂起可能只是一个网络问题，使得响应对象成为死角，或者问题是由于大量线程导致内存碎片。

查看可能产生模式的任何内容可能有助于找到来源：

通常运行多少个线程（可以在较少的线程中捆绑请求集）
线程停止时的网络性能如何
发生时是否有特定的计数或范围
发生时最后处理的数据（是否存在可能扰乱流的特定控制字符或数据序列）

想要提出更多问题，但没有足够的声誉，所以只能回复。

Answer 3

下面是一些类似的代码，它也用于访问多个网站，每个调用都处于不同的任务中。不同之处在于我只读取了一次流，然后解析结果。这可能是一种绕过流阅读器随机锁定或至少使调试更容易的方法。

       try
       {
           _webResponse = (HttpWebResponse)_request.GetResponse();
           if(_request.HaveResponse)
           {
               if (_webResponse.StatusCode == HttpStatusCode.OK)
               {
                   var _stream = _webResponse.GetResponseStream();
                   using (var _streamReader = new StreamReader(_stream))
                   {
                       string str = _streamReader.ReadToEnd();

多线程HttpWebRequest在responseStream上随机挂起

3 个答案: