使用梦魇动态网站抓取

时间:2016-05-04 13:16:16

标签: node.js web-scraping nightmare

我正在尝试使用Nightmare.js(针对Node.js)废弃Google搜索。我基本上是在搜索一个单词(我不想去Google主页并从那里导航,因为输入将是预定义的URL集)并为其截取屏幕截图。由于谷歌搜索由javascripts动态加载,我遇到了麻烦,我的截图是空白的。有谁可以指出这个问题? 这是我使用的代码。

//nightmarte
var Nightmare = require('nightmare');

var google = new Nightmare()
  .viewport(1000, 1000)
  .useragent("Mozilla/5.0 (Windows NT 6.3; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/38.0.2125.111 Safari/537.36")
  .goto('https://www.google.com/#q=barak%20obama&rct=j')
  .wait()
  .screenshot('obama.png')
  .run(function(err, nightmare) {
    if (err) return console.log(err);
    console.log('Done!');
  });

0 个答案:

没有答案