1000万页如何做最快的网页抓取？

Question

我知道 .net core 中的异步编程，我正在使用如下异步代码：

    //...
    while(i < 10000000){ 
           var req = HttpWebRequest.Create($"http://www.example.com?p={++i}");
           var resp = await req.GetResponseAsync();
           var reader = new StreamReader(resp.GetResponseStream());
           var res = await reader.ReadToEndAsync();
           //....
   }
   //...

够了吗？