模仿浏览器行为

Question

我正在获取网页的htmldump。但是我没有得到Javascript在运行时加载的内容。

模仿浏览器行为并提取htmldump的最佳方法是什么，这正是我们在浏览器上看到的。

我们正在使用Java，人们早先使用过selenium，但它似乎有速度问题。

Answer 1

如果您使用.Net，则可以使用WebBrowser控件。

根据MSDN：

  

允许用户浏览表单内的网页。

您可以通过编程方式对其进行控制。

Answer 2

您可以尝试HtmlUnit。它是一个支持javascript的无头浏览器，所以它应该能够做你想要的。

Answer 3

如果你乐意使用firefox或chrome，硒可以很快。还有一种方法可以运行Selenium无头（不是我已经完成它），它也可以提供足够快速的解决方案。否则，会有帖子和博客（eg.）来解决Seleniums性能提升的问题。另一种选择是看看WatiN，虽然这也是.Net中的一样，就像WebBrowser的seth flowers建议一样。