获取页面内容

Question

我想解析一些谷歌服务页面数据（adplanner）。问题是谷歌使用JS显示页面内容，并没有任何api。例如，我有这样的请求网址：https://www.google.com/adplanner/planning/site_profile?hl=en#siteDetails?identifier=stackoverflow.com&lp=true

在收到的代码中我可以看到：

document.write(unescape("%3Cscript src='" + AP_gaJsHost + "google-analytics.com/ga.js' type='text/javascript'%3E%3C/script%3E"));

我正在使用JQuery

接收网页数据

$.get(requestUrl, function(data) {console.log(data);} );

requestUrl是我在本文下写的网址。

那么，从该页面接收文本数据的方法是什么？

Answer 1

试试PhantomJS。它可以加载页面，运行所有的javascript，然后你可以在完成所有javascript渲染后抓取你想要的任何文本（通过DOM或jQuery）。 github repo中有很多很好的例子。