http响应状态码请求限制

时间:2015-07-22 10:11:29

标签: vb.net httpwebrequest http-status


我有列表字符串“名称”包含网址列表。 (大约500 000个URL)。
我希望快速获取此列表的HTTP状态代码。

Dim req As HttpWebRequest<br>
  Dim resp As HttpWebResponse<br>
     For Each elem As String In Names<br>
     req = HttpWebRequest.CreateHttp(flag_http)<br>
  Try<br>
     resp = DirectCast(req.GetResponse(), HttpWebResponse)<br>
     Catch ex As WebException<br>
     resp = DirectCast(ex.Response, HttpWebResponse)<br>
     ' Here I add these response codes to ms access database (using     resp.StatusCode)<br>
   End Try

但在获取多个URL(5-6个URL)的响应后,代码不起作用 所以我添加了

System.Net.ServicePointManager.DefaultConnectionLimit = 1000000

但即便如此,也会被大约50-55个网址所困扰。

但这应该很快,因为这个清单庞大且耗时。

有什么方法可以绕过该请求限制?

0 个答案:

没有答案