以块的形式抓取页面

Question

我正在开发一个需要抓取网页然后解析它的应用程序。我需要知道有没有办法以块的形式抓取页面。我的意思是页面可以被划分并以并行块的形式下载，最后我可以单个页面。这样可以节省时间。

Answer 1

HTTP 1.1支持Range标头，允许您以块的形式下载资源。这可能就是你想要的。 HttpWebRequest对象提供了允许您执行此操作的AddRange方法。