请求模块等待文档准备好

Question

我正在进行网页抓取。实际上我在节点中使用request module，现代网站使用较新的框架，如Angular，EmberJS和生成html。当我加载页面请求文档没有准备好，所以我只得到javascript代码而不是HTML代码。

是否可以生成超时然后加载页面？

Answer 1

request模块只是一个HTTP客户端，它只会获取从特定URL返回的文本。实现您想要做的事情的直接方法是使用像PhantomJS（https://github.com/sgentle/phantomjs-node）之类的无头浏览器打开URL，并在评估其内容之前实际执行该页面。