减少100页谷歌的加载时间

Question

对于我的项目，我需要一次访问谷歌的整个页面（100）以获取特定关键字。我使用'for'循环来访问用我的c＃代码编写的url中的页面。但是它需要更多时间来访问有时它会显示HttpRequest错误。有什么方法可以提高速度吗？

Answer 1

并行查询它们。 HTTP本质上是异步的，因此应该是您的请求代码。

Answer 2

在您的情况下，速度受到完成I / O请求所需时间的限制。您可以通过并行访问服务器来加速总任务（即使用ThreadPool）。浏览器通常会对serer使用几个（2-8）并行I / O请求，因此您也可以（例如，如果您还需要google结果引用的图像文件或css文件，则会很有用）。由于您将拥有多达100台服务器，因此您可以大规模并行执行;再一次，Threadpool将帮助你完成一项任务。