如何在C＃中抓取用脚本生成的页面？

Question

简单示例：Google搜索页面。

http://www.google.com/search?q=foobar

当我获得页面的源代码时，我会获得基础JavaScript。我想要结果页面。我该怎么办？

Answer 1

即使看起来好像它只是javascript它确实是完整的HTML，您也可以轻松确认HtmlAgilityPack：

HtmlAgilityPack.HtmlWeb web = new HtmlAgilityPack.HtmlWeb();
HtmlAgilityPack.HtmlDocument doc = web.Load("http://www.google.com/search?q=foobar");
string html = doc.DocumentNode.OuterHtml;
var nodes = doc.DocumentNode.SelectNodes("//div"); //returns 85 nodes