如何加载动态生成的网页？

Question

我正在尝试加载网页http://www.artstation.com/artist/nicotine，因此我可以刷页面，遗憾的是页面似乎是通过代码生成的，因此我要查找的标签不可用。

使用以下内容加载它并不起作用，因为它只加载源javascript，而不是它生成的内容：

HtmlWeb htmlWeb = new HtmlWeb();
imagepage = htmlWeb.Load(http://www.artstation.com/artist/nicotine);

如何将页面加载到浏览器中显示的页面，以便我可以为标记擦除它？

Answer 1

您不能使用HtmlAgilityPack。当HAP要求服务器为您提供页面文件时，该文件的内容尚未被Web浏览器解析/执行，因此其上的JavaScript尚未执行任何操作。

有一个解决方法。您可以使用selenium或phantomJs来获取动态生成的代码的内容。这些工具具有浏览器堆栈，它将执行JavaScript。您可以找到许多其他类似的工具和大量示例。