我有列表字符串“名称”包含网址列表。 (大约500 000个URL)。
我希望快速获取此列表的HTTP状态代码。
Dim req As HttpWebRequest<br>
Dim resp As HttpWebResponse<br>
For Each elem As String In Names<br>
req = HttpWebRequest.CreateHttp(flag_http)<br>
Try<br>
resp = DirectCast(req.GetResponse(), HttpWebResponse)<br>
Catch ex As WebException<br>
resp = DirectCast(ex.Response, HttpWebResponse)<br>
' Here I add these response codes to ms access database (using resp.StatusCode)<br>
End Try
但在获取多个URL(5-6个URL)的响应后,代码不起作用 所以我添加了
System.Net.ServicePointManager.DefaultConnectionLimit = 1000000
但即便如此,也会被大约50-55个网址所困扰。
但这应该很快,因为这个清单庞大且耗时。
有什么方法可以绕过该请求限制?