替代VB.NET WebBrowser控件的Crawler

Question

我正在为一个拥有非常有限资源的神奇网站做志愿者，这些网站需要一些帮助来解决他们网站抓取工具的瓶颈问题。它是使用WebBrowser Control在VB.NET中编写的，并抓取单个站点抓取数据（具有所述站点的知识和许可）。我相信通过使用this technique访问HTTPOnly cookie，我找到了解决瓶颈的可能方案。但是，我想知道是否有更有效的WebBrowser控件替代方案可以完成这项工作并仍然可以访问HTTPOnly cookie？

核心要求是：

• 能够发送/接收会话信息（登录是访问数据所必需的）
• 访问HTTPOnly cookies
• 仅捕获HTML和XHR响应（无法下载JS / images / css / etc，因为这至少会使HTML的平均响应时间增加三倍）

Answer 1

查看System.Net程序集：

http://msdn.microsoft.com/en-us/library/ms172307.aspx

它应该涵盖您的所有用例。

Answer 2

检查此链接：

这会对你有所帮助！ http://blog.stevensanderson.com/2010/03/30/using-htmlunit-on-net-for-headless-browser-automation/